本名黄山，今称横山，误。三峰相连，状如笔架，故又称笔格山。明《
姑苏志》：“黄山，在茶磨山北四里，胥塘之北，诸峰高下相连，俗称笔格山。《隋志》载：
王世充破
刘元进，坑其众于黄亭磵，疑即此山。其西山之半有二石洞，深可三四丈，俗名虎洞。”
地处
苏州花岗岩体南缘，为
花岗岩和
泥盆系石英砂岩的分界，山丘主体为
石英砂岩，西侧为花岗岩。主峰海拔97米，其余两峰分别为77米和54米。山南北长1.3公里，东西宽0.4公里，面积0.52平方公里。山上植被覆盖良好，白鹭翔集。
山麓有1956年建成的
苏州烈士陵园，占地8.5万平方米。烈士纪念碑题词“为人民事业而牺牲是最光荣的”为
陈毅元帅手迹。