传说当地村民擅做土框、即蔂，而取村名大蔂上。“蔂”、“楼”在当地同音。而“蔂”较生僻，“楼”较通俗，故而演变为大楼上之名。

事实上现今地名已失去之前蕴意，仅能体现当今地名较通俗而已。

大楼上清代为上14都下14图。民国期间属蠡胡乡，1949年新中国成立后为新建乡，1955-1956年为初级社、高级社和平十社，1958年为人民公社一零大队一生产队，1981年为黄泥浜大队一生产队，1983年后为黄泥浜村一自然村。2002年因规划用地而搬迁消失，村民安置于庆元家园。