伏魔山历史悠久，开山于明代天启年间（公元1621——1627），距今已有近400年历史。建伏魔庵，开山始祖为尹明镇和尚，传受白虎之托儿开山。后为纪念开山祖，凿明镇和尚像于伏魔山石壁，有后人凿去石像不久石壁又显现石像，尤为神奇。今石壁仍有一尊石像
清晰可见。伏魔庵遗址，位于伏魔山顶，
面积400平方米，道光二十二年（1842）重建。山门有“云山独秀”四字。山门坐南向北，进山门后，沿石阶而上，东西山顶建有四合院建筑，由正殿、后殿、
厢房组成，建筑面积200平方米，西面山顶建有两座小庙，均以山上块石就地取材砌成墙。
伏魔山海拔750米，比周围的山都要高，似高入云端，山清水秀，方圆百里，惟她独秀，故有云山独秀之美称。在伏魔山残缺的碑文上依稀可见：“有山焉，名伏魔，双溪绕膝，两柱擎天。脉由梵净传来，千山摇翠，万壑朝宗。下有良田百亩，桐茶千顷，其势蔚然。左联六转，其情若谒，莫甚于此。凡有过其都者，莫不羡焉……”。此山乃伏魔山，双溪即一为大鹏溪，一为外溪（即遥山沟）。两柱擎天是谓伏魔山金顶一分为二，山门就是连接两峰的桥梁，这与梵净山极为相似，被称为小梵净山。
伏魔山下大鹏溪村有三百多年的历史，大鹏溪从村子中间流淌，数百幢瓦房因地制宜依山而建，错落有致。有不少吊脚楼，还有数幢保存完好的明国时期四合院，古香古色，入村者无不称赞。近年随着村民在外务工致富，部分瓦房已被洋房取代。
2011年伏魔山（伏魔庵遗址）已被列入铜仁市第五批县级文物保护单位。因地处偏僻，伏魔山未曾得到实质性保护。如今伏魔山留给人们的只有记忆和遗憾，远在他乡的游子就是在网上看看伏魔山的照片也是一种奢望，因为没时间去造访伏魔山，而离伏魔山很近的人却又不屑于造访伏魔山。所以伏魔山只是传说中的伏魔山，没有人相信她真的存在。