式少有志操，好学问。年十八、九辞家居庐山，假书以读，五、六年不归。其业精出，文献独得唐遗风。
礼部取士，难其人甚，
张洎主文，独放式一人。谓南唐进士第一人。
公元975年，宋统一南唐，其学识才干得宋主重用，任
大理丞出监通州丰仓入判
三司都磨勘司。时财赋充斥，无所稽核。式创主辖支收司，令在
三司下设都
磨勘司，奸吏畏服，为朝廷财税作出了巨大贡献。其法谓之“三年磨勘之法”，人尊称其为“刘磨勘”。淳化中奉使往谕高丽，酋长归化，转
太常博士，又改工部员外郎、刑部郎中。宋太宗赐御书又帖十六轴，以示奖赏。
至道三年，
宋太宗逝，宋真宗
赵恒继位。盐运使
李惟清指使他人诬告刘式藐视朝廷，遭免职。不久郁恨而死，年四十九。后宋真宗为其平反昭雪，追赠为礼部尚书。
家有藏书数千卷，辟“墨庄”藏之，藏书地点在扬州。卒后，其妻陈氏指遗书教戒诸子说：先大夫秉性清洁，有书数千卷遗留给后人，是“墨庄”也。于是诸子皆以苦学，并为郎官，其妻亦被称为“墨庄夫人”。墨庄藏书传至南宋，刘氏藏书历经了五代传人，岳飞在绍兴六年（1136）为刘氏后人书有“墨庄”二字。墨庄原藏书散失于靖康之乱。
刘式之曾孙刘滁(1100～1159),字全因，号丰园。念先世所藏散亡，节衣缩食，悉力营聚，至绍兴二十二年(1152)，又收图籍数千卷，藏书规模始复其旧，建立了新的墨庄藏书，并世代相传。