赵世光早年继承父业，将其“航运王国”推上高峰，可谓光耀门楣。不过因身体肥胖，他患有
胆固醇过高问题，及后曾两度中风入院，晚年健康情况更是欠佳，需要长期卧床。赵世光曾在2004年因为心脏不适入院，幸及时治疗，但中风后变得口齿不清，手脚受影响下导致行动不便，此后深居简出，很少露面。
2010年，赵世光在家中再度中风，何琍琍情急下召救伤车送往玛丽医院，情况一度紧张，事后她透露赵世光因脑中风入院，需要以仪器协助呼吸，情况稳定后才转到养和医院休养。期间，他曾到台湾接受治疗逾一年，随后又返港继续治疗，后期索性出院返家由何琍琍全程照顾。
赵世光生性风流，其中与曾参选
国际华裔小姐的红颜知己谭玉梅有一段长达十年的婚外情。虽然多次向何琍琍承诺与对方“断缆”，但赵世光最终未能兑现，谭玉梅还多次与何琍琍骂战，令她十分难堪，令何琍琍一直想过离婚，但始终深爱丈夫，选择留在他身边。直至2004年赵世光中风后，谭玉梅没有出现在他身边，反而何琍琍对老公不离不弃，多年来陪伴左右关怀备至，在病榻中照顾至丈夫离世一刻。
2016年7月20日，富商华光航业集团董事长赵世光逝世。2016年7月21日早在太太何琍琍的亲口证实：“我不说喇，不好意思。现在我身体都很辛苦，没什么气力，多谢大家关心。”
赵世光的私生子是赵世康，私生女是与赵世康同父同母的亲生妹妹。赵世光因为身体原因去世后，百亿遗产由何琍琍的女儿继承，那些私生子和私生女是一点遗产也没有分上。2019年5月，赵世康在一家火锅店打工当服务员。