三山系古代神话传说，海上“
蓬莱、
瀛洲、
方丈”三座仙山之一，仍有“神仙福地”之意，与附近“双成巷”用古代神话中仙女名，可谓异曲同工。又，一说三山为
福州市别名，疑旧时此处多住福州籍人士，故名。或又曰其西北不远处有吉由巷，明代巷内名医郑钦谕，字三山，郑氏世有医名，三山街之名，或与此有关。然均无确证，待考。宋时巷北有蛾眉桥（架第二横河上），故称峨眉桥巷，
王鏊《
姑苏志》等均作峨眉桥巷。民国《吴县志》并注：“考《
平江图》，其地即今三山街。”《姑苏图》、《苏州城厢图》、《吴县图》、《苏州图》均已标作三山街，则至迟到
乾隆年间，民间已称三山街。
1989年改弹石路面为水泥六角道板路面。1993～1994年
干将路拓建，原鹰扬巷所剩无几，1995年街坊改造，鹰扬巷并入本街，本街遂延伸至干将西路。长100米，宽3米。