早在元代末年，新会会城古城开始夯筑了一条土城，这是会城最早期的城垣。象山古城墙遗址，位於象山北麓陡崖边，始建於元代末年，是一段坚实的泥质墙基，从城外的濠沟算起高达5 -6米，主要是黄泥和沙土夯打而成，长达500多米。

明洪武三十年（1397年）千户陶鲁佥事何子明、知县伍睿发动乡绅捐资修筑外城（又称新城）。这样，新会城的新旧两城周围共1370丈，建有城门7座，便门4座，大水关3座，小水关2座。新会的古城一直沿用至民国，除在清代略有修整，各个城门及水关均变化不大。清乾隆时期的《新会县志》称，新会城为广东第三大城，仅次於广州城和潮州城。

民国时期，会城拆除了古城墙，改建马路。由于修建会城通向圭峰山的马路，最後一座城门北门也於1957年左右拆掉。随着社会发展以及会城的城市建设，昔日雄伟的城池已成了往事，祗有城东马山和城西象山仍存有古城墙的遗迹。

现在，在一般人眼里，城墙祗不过是一段高起的泥埂罢了。沿线可以看到一段段大块的城砖，长约1米，坚硬无比，是作为城墙底层承重的墙砖。还有一排排30厘米长的青砖整整齐齐地点缀在泥基之上，那是明代的城砖。在草丛中，细心找寻，还发现了一个城垛