象山邨前身是城门道与老围村之间的一片农地和象山
寮屋区。象山
寮屋区因被政府徵用发展
公共屋邨，在1975至
1976年期间清拆，建成的屋邨随之命名为象山邨，并于1978至
1979年间入伙，由高耀物业管理有限公司负责屋邨管理。
由於象山邨的位置与
圆玄学院非常接近，所以其酒楼曾经吸引许多於圆玄学院拍戏的明星光顾。不过，象山邨居民较喜欢於早上前往荃湾市中心喝茶，然後买菜回家做饭，令光顾象山邨酒楼的客人愈来愈少，後来酒楼结业，该址改为老人院。
香港立法会选举，象山邨属于新界西区。地方行政上，象山邨属于
荃湾区，区议会选区属K17象石区，其范围包括部份
石围角邨，现任
区议员是
民建联的陈振中。