唐宋时期，岭南成为了政府安置流人谪宦的聚居地。仅唐代贬流至广东有史籍可考者，流人近300人（次），左将官近200人，皇亲国戚37人，宰相49人，还有一些达官贵人。而宋代被流贬者仅见于史籍者就有400多人次，加上无考者更无法计数。例如，沈佺期（656—714年）、杨炎（727—781年）、李德裕（787—850年）、苏轼（1037—1101年）、黄庭坚（1045—1105年）、李纲（1083—1140年）、赵鼎（1085—1147年）等官员皆曾被流贬至南下两粤。一些文人墨客途经鬼门关，留下了许多借景抒情的著名诗句。李德裕《贬崖州诗》（一说是杨炎所写）云：“一去一万里，千去千不还。崖州何处在？生度鬼门关。”宋人刘敞（1019—1068年）《送人之岭南》云：“君去炎方远，行行万里余。渐惊南瘴酷，益见北人疏。山谷藏雄虺，溪潭养鳄鱼。秋风雁不到，何处俟归书。”

可见到了岭南，如同进入了一个毫无生气、黯淡无光的境地，与作别生期并无差异。这些来自中原的南下士大夫被流贬后日积月累的悲戚之情和流落异地的恐慌羞愧，都借由对“鬼门关”来抒发和升华，得到了些许的宣泄和释放。“鬼门关”这一由北方失意士人造就的恶称，逐渐取代“桂门关”，涵盖了岭南关口的“所指”，成为唐宋“南流史”的象征符号。

古代“贬官文化”产生的客观原因来自社会政治的黑暗统治。中国封建社会于唐代设置的“贬官”制度随着时间推移，由原来打击腐败的功能而慢慢蜕化成为朝廷专制势力铲除异己的卑劣手段。一些有才华而正直的文人在经历了官场斗争和势力欺压，政治上不得志后，只得借山水来抒郁明志。例如，北宋大文学家苏轼二次被贬时，成为宋朝官员被贬谪到岭南的第一人。他因文字狱被贬到海南儋州任昌化军长官，到儋州四年，时已66岁。在他的一首《庚辰岁人日作。时闻黄河已复北流，老臣旧数沦此，今斯言乃验》的七律中，颔联两句为“天涯已惯逢人日，归路犹欣过鬼门”，以“过鬼门”表达其渴望遇赦北归的心情。

总之，唐代以前，岭南鬼门关仅仅由于其地势险要以及军事商贸的单纯地理概念为人所知，被称为“桂门关”（是指进入桂地的门户）。而到了宋代，“桂门关”与“鬼门关”已经发展成为了学界争议的公案。直至洪武（1368—1399年）初年，“鬼门”被承认为误称，并恢复为“桂门关”。但人们为什么会将“桂”讹为“鬼”而不讹传为“规”“归”“桂”等字呢？是什么原因使得一个“鬼”字就此流传并沿袭下来呢？原来，此关是古代前往岭南南部的必经之路，凶险多瘴，中原人在此多为瘴病所累，去者鲜有生还，因此被认为是踏上了吉凶未卜的凶险之路。民间传说，鬼门关对峙的两座石峰极像两扇鬼门，有大大小小的魔鬼在那里把守。如果有行人进关，魔鬼叫一声“合”，“鬼门”马上并合，将行人榨成肉酱。妖魔吃了人肉后又把“鬼门”叫开，等待下一批送死鬼。当然，这些说法只是源于人们对岭南地区的不了解和对桂门关凶险路途的畏惧，纯属杜撰恫吓之辞。