赵昺生于公元1271年，这一年，
忽必烈建立了元朝，因此，他一出生就注定是一场悲剧。1274年，度宗死在酒色之中，四岁的嫡子
赵显在奸臣
贾似道的扶持下登基做皇帝，称为
宋恭帝。当时宋元交战，元兵已饮马长江，南宋国势危急。
1276年，南宋国都临安（杭州）陷落，宋恭帝被俘。南宋大臣护送赵昰和赵昺南逃，并在福州拥立
赵昰为帝，即宋端宗。元兵穷追不舍，南宋小朝廷被迫继续逃亡到广东。1278年端宗病死，大臣们就拥立8岁的赵昺为帝，改年号为
祥兴，并以
陆秀夫为
左丞相，
张世杰为太傅，进驻广东
新会崖山，继续抗击元军。
祥兴二年（1279）正月，元军进攻崖山，宋元两军在广东新会的崖山海面决战，结果，张世杰所率宋军寡不敌众，大败海上。3月19日，陆秀夫见大势已去，于是身穿朝服，将8岁的小皇帝赵昺抱到船头，叩首再拜道：“国事至此，陛下当为国死。
德祐皇帝（宋恭帝）辱已甚，陛下不可再辱！”言罢，背起小皇帝，跳入茫茫大海，至此，南宋彻底灭亡。
《赵氏族谱·帝昺玉牒》载：“后遗骸漂至赤湾，有群鸟遮其上，山下古寺老僧往海边巡视，忽见海中有遗骸漂荡，上有群鸟遮居，窃以异之。设法拯上，面色如生，服式不似常人，知是帝骸，乃礼葬于山麓之阳。”
而民间则传说，当时赤湾海滩漂来一具身着黄袍龙衣的童尸，而赤湾海边天后庙（即位于赤湾的天后博物馆）的一根栋梁却突然塌下，庙祝与乡绅父老急忙焚香问卜，得知童尸为少帝遗骸，塌下的栋梁是
天后娘娘送少帝做棺材的材料，当地百姓于是礼葬赵昺于天后庙西边的小南山脚下。
据说，1911年香港
赵氏后裔才修建了少帝墓，1963年被赤湾驻军发现。1984年初，香港赵氏
宗亲会和
蛇口工业区
旅游公司又捐资四十多万港元，对陵墓进行了修葺扩建。
宋少帝陵远没有一般皇帝陵那么大气，整个陵园几乎一览无余。陵园北依小南山，南临
伶仃洋。正中就是少帝墓，墓地中央竖立一块大石碑，墓碑的上方刻有祥龙两幅，中间刻有一太阳浮雕；墓碑正中镌刻“大宋祥庆少帝之陵”八个填金大字（据说，“祥庆”应为“祥兴”之误，但在
粤语中，“庆”和“兴”读音相近）；右左两行填金小字为：“
本山坐于兼祭
复卦四支”、“
辛亥岁赵氏三派裔孙重修”，两旁有一金字对联：“黄裔于今延宋祀，赤湾长此巩皇陵”。
碑后为坟堆，有两重弧形围墙，前段中间顶
面塑祥云拱月，涂染朱红，后段顶面塑双龙拱日，下有一只凤鸟装饰。
墓的东侧，立有一块
泉州白石碑，正面是《宋帝昺陵墓碑记》，记叙了宋少帝的生平、陆秀夫负帝殉海的经过以及陵墓的修建情况，碑文为篆体
阴文，风格古拙，是著名书法家
商承祚所写。石碑背面则刻有著名书法家
秦萼生题笔的八个大字：“崖海潜龙，赤湾延帝”，字体苍劲。
陵墓西侧，是一座高约四米的陆秀夫负帝殉海
石雕像，民族英雄陆秀夫背负幼主，视死如归，凛然正气，令人肃然。或许，正是陆秀夫这种宁死不屈的
民族气节的感召，不时还有世人前来拜祭。在少帝陵前，在陆秀夫像前，摆满了丰盛祭品，萦绕着袅袅香烟……