山有五峰，故名；又称（小）白阳山、（小）白羊山和清流山。明《
姑苏志》：“小白阳山，一名伏龙山，在金井坞南，横耸众山之外，山址旧有寄心菴，今废。其东南为博士坞、弥陀岭、竺峰岭。又东南则狮子岩，在㠛村之上。又南则野芝坞，皆连属灵岩山。”
北东走向，主峰五峰山，海拔101米；次峰仙人山位于主峰东北1.0公里，海拔120.1米；次峰银顶山位于主峰西北0.7公里，海拔113.5米；次峰大山头位于主峰西南0.9公里，海拔108.5米。山体由砂页岩和花岗岩构成，为
苏州花岗岩西界。
博士岭下西山坞清
金圣叹墓，为市级文物保护单位。银顶山和金井岭山谷间（
白象湾）有1958年建造的白象湾水库。五峰山山脊有石室土墩25座。