南岳庙位于安徽省霍山县城南的南岳山，距霍山县城大约3
公里左右，始建于
汉代，历代修葺，现存建筑主体为南岳庙，为近年重建。
左慈字元放，庐江(今安徽庐江)人，《后汉书·方术列传》载他有“神道”：曹操宴客，思食吴江鲈鱼，左慈立即用幻术，用钓竿从盘中钓出轳鱼。曹操要求再钓数条，遍饷宾客，他又连续钓出数条，每条皆长三尺余，生鲜可爱。又有一次，曹操在近郊宴下属百余人，左慈又用幻术把曹操府中美酒遍饷宾客，曹操不喜，欲杀之。但左慈已隐身，不知所在。有时在市上出现，正欲逮捕，忽然市上人均长得像左慈一样，无从下手，后在阳城山头遇到左慈。他走入羊群，变成羊，终难捕获。宋苏轼云：“痴人但效羊羔儿，不知何者是左慈”即指此。
《神仙传》载：孙讨遇见左慈，欲杀之，使行于马前，欲自后刺之。慈着木屐，拄—竹杖，徐行。讨逆策马追逐，终下能及。于是苏轼咏叹道；“欲就左慈求拄杖，使随李白跨沧泯。他智如西汗武帝时的滑稽能手东方朔，而命运则大大好于神医华佗。华佗被曹操所害，而左慈却能戏曹操于手掌上，曹操对之无可奈何。
公元前106年冬，汉武帝登临南岳，敕封为“副衡”。东晋穆帝永和年间（345-356年）的宰相何充登过南岳。南朝梁武帝天监年间（502-519年）的宰相何敬容登过南岳。南朝时的何求、何点、何胤，人称“何氏三高”的当时名隐，曾谢绝宋、齐、梁三朝的多次征召，隐居南岳山麓，潜心著述。晚唐诗人皮日休，咸通六年（865年），因试进士落第，寓居于寿州（今安徽寿县）的东别墅，此间他游览了南岳山，写下了著名的《霍山赋》。宋代六安焦状元（焦焕）曾于南岳山建造书堂，闭门读书三载，终于金榜题名。宋末抗金名将曹平章曾率义军驻扎南岳山。明代著名文学家、戏曲作家冯梦龙登临南岳时留下了《登岳》的著名诗篇。明代霍山籍进士、国子监丞、礼部主事、内阁兼翰林院典籍吴兰，晚年筑居南岳山下，偕其弟吴槐著书数卷，今留有《南岳山碑记》于世。明末霍山籍进士、时称天下第二清官的张孙振曾遍游霍山风景名胜，留下多首诗篇。南明大臣张煌言为联系农民军抗清曾途经南岳，住宿山上。清代霍山籍安徽著名诗人张继曾、皖西著名女诗人朱坤然游览南岳，留有诗篇。曾任过清朝刑部、户部、吏部侍郎并京官考核一等的霍山人士吴廷栋也曾登览南岳并写下《登南岳》的著名诗篇。