庾将军祠处在憩云亭与梅关关口中间，距离古驿道西侧数十米的一个较开阔的山坡上。庾将军祠是为了纪念西汉初期裨将庾胜戍守梅岭有功而建造的。该祠坐南朝北，前方立有一旗台，西汉士兵保家卫国，镇军扬威的象征。祠前数步建有一座水泥平台，四周有石栏杆围绕，称为朝汉台，传说是汉时驻兵的升旗处。古代的升旗与今天差不多，升军旗标志着此地是戍守的军营地，也是反映士卒忠于朝廷、忠于国家的一种形式。据传，祠址原是汉朝屯兵扎营的地方，因此1991年大余县人民政府也将将军祠和朝汉台建在此地。庾将军祠为仿古庙式砖木结构，共有三开间，占地90平方米，正厅塑有庾将军的塑像，祠前廊柱上有一对楹联：“不必定有梅花，聊以志将军姓氏。从此可通粤海，愿无忘宰相风流。”

相传汉朝初期，梅岭以南有一个南越国，南越王手下有个丞相名叫吕嘉，在汉武帝时期拥王自立，想要反叛汉廷，汉武帝派遣楼船将军杨朴率军出横浦挥师南下。杨朴将军的前锋将领就是庾胜，他率军在前头一路冲锋陷阵，骁勇善战，直到消灭南越国，为汉朝的统一立下了汗马功劳。汉武帝为表彰庾胜将军，封他驻守台岭、巩固南疆、把守梅关。庾胜驻守梅岭后，他和兄弟两人，统兵驻岭北，筑城大余，戍兵梅岭，在这修建兵营，岭下筑城，岭上建寨，日夜把关（所以这座祠的原址还是庾将军军营旧址）。庾将军热心传播中原的优秀文化和先进的耕作技术，为这里的百姓造福，深受当地百姓的爱戴。又因他排行老大，所以叫他为大庾。他死后，这里的人民为纪念他的功德，筑祠祭祀。大余县原名为大庾，梅岭称之为庾岭都是为了纪念庾胜将军。1957年，将大庾改为大余，象征着年年有余，希望这里的人民永远吉祥安康，后人为了纪念其功德在这建了庾将军祠，并把他驻守的台岭改称为大庾岭。