林仁肇生性刚强坚毅，武艺高强，而且身材魁梧，身上刺有虎形纹身。原是闽国
裨将，与陈铁齐名，人称林虎子。闽国灭亡后，归家闲居。
956年（显德三年），南唐中主
李璟因后周军攻打淮南，命鸿胪卿
潘承祐到泉州、
建州召募勇士。潘承佑推荐了前永安节度使许文稹、静江指挥使陈德诚以及
郑彦华、林仁肇等人。中主任命林仁肇为将军，让他率
偏师救援寿州。林仁肇攻城南大寨，又破
濠州水栅，被擢升为淮南屯营应援使。
八月，周军正阳
浮桥建成，扼住南唐援军的进路。林仁肇亲自率领一千敢死士，用船载着薪柴牧草，乘风放火，欲焚毁浮桥。不料，风向转变，不利火攻，周军大将
张永德趁机进战，唐军大败。这时，林仁肇单马殿后，并将张永德射来的箭矢全部挡开。张永德大惊道：“敌军有能人啊，不可轻敌。”便不再追击。后来，南唐向
后周割地求和，林仁肇被任命为
镇海军节度使，不久又改镇武昌。
970年（开宝三年），林仁肇私下向
南唐后主进言道：“淮南兵力很弱，宋国又连年用兵，先后平定西蜀、荆湖、岭南，千里奔波，士卒劳累，这正是可乘之机。陛下只要给臣数万兵马，臣就能夺取淮南。陛下可以对外宣称臣起兵反叛，那么臣若成功，淮南归国家所有，臣若兵败，陛下便灭我满门，以此表示陛下并不知情。”后主听后，惊道：“你千万不要胡说，这会连累到国家的。”不久，林仁肇便被任命为
南都（今江西南昌）
留守、南昌尹。
林仁肇出身行伍，后虽担任将帅，仍能与士卒同甘共苦，因此深得军心。但是，皇甫继勋、朱令赟等人与林仁肇关系不和，便在唐后主面前进谗言，称他向宋朝求援，要在江西自立。宋太祖也对林仁肇非常忌惮，便贿赂他的随从，得到他的画像，悬挂在别室中。
972年（开宝五年），郑王
李从善到
汴京朝贡。宋太祖带李从善观看林仁肇的画像，道：“林仁肇将前来投降，先用这幅画像为信物。”又指着空着的馆宇道：“这是我准备赐给林仁肇的。”李从善命人回报后主。后主不知这是
反间计，便暗中命人将林仁肇鸩杀。
徐铉：鼓鼙之气，指□敌而愈高。金石之心，因时艰而益壮。故能灼殊功於南部，夷多垒於东门。元戎所行，绩用昭著。及总留务，於浙之西，成师著无犯之威，察俗有惟清之化。屹尔京口，殷然长城。
陆游：金陵之被围也，以守备任皇甫继勋，以外援付朱令赟，继勋既怀贰心，而令赟孺子，复非大将才，其亡宜矣。使林仁肇不以间死，
卢绛得当攻守之任，胡则、
申屠令坚辈，宣力围城中，虽天威临之，岂易遽亡哉。
吴任臣：孟坚、
陈诲、林仁肇，皆闽故将也，先后归唐，行间效力，岂非所云
楚才晋用邪？然诲以功名显，坚以血战亡，而仁肇倾心谋国，反用间死。夫固有幸不幸哉！
乾隆帝：① 唐主可谓下愚不移者矣，既畏宋之侵伐，贬号称臣，事之甚谨，殊不知徒示削弱，何益之有。苟偷目前之安，曷若自强其国，春秋吴信谗而杀伍员，战国赵被间而杀李牧，楚项羽被间而不用范增，南史宋被间而杀檀道济，此皆昏君闇主之通患，不旋踵而国为他人所灭矣。仁肇乃江南之人杰，观其深谋远虑，迥出人表，苟或用之，则土地开拓而国未遽亡，夫何因宋之间遂鸩杀之于乎？抑不知宋之所惮者仁肇耳，仁肇既诛，则江南长城已坏，虽欲久有其国，乌可得哉？② 李煜之有仁肇，项羽之有范增也；太祖之间李煜，陈平之间项羽也；项羽亡于汉高，李煜亡于宋祖，一辙矣。（《御批续资治通鉴纲目》）
陈鳣：坚（孟坚）、诲（陈诲）、仁肇，皆闽之故将，先后来归，效功军旅。或以疆场效命，或以忠义善终，或以反间致死，而全归则一也。
蔡东藩：国有良臣，为敌之忌，自古至今，罔不如是。但如江南之林仁肇，欲乘宋师之敝，规复江北，志虽足嘉，而谋实不臧。宋方新造，战胜攻取，何畏一江南。此时为仁肇计，亟宜劝
李煜勤修内政，亲贤远色，方足维持于不敝，轻开边衅胡为者？故即令反间之计，无目得行，仁肇其能免为朱令赟乎？
陈乔很赏识林仁肇，对他非常器重，常道：“若使林仁肇在外带兵，我陈乔在中央掌握朝政，那么我国虽国土狭小，宋国也难以图谋。”林仁肇冤死后，陈乔叹道：“国家到了如此地步，还要杀害忠臣，真不知道我最终会死在什么地方。”他为此感叹了好几天。