林损少从舅父
陈黻宸学习，清光绪三十三年（1907）随舅父赴广州入两广优级师范学堂。毕业后曾在瑞安高等小学任教一年。宣统三年（1911）赴上海，任
共和建设讨论会文案，后任《黄报》编辑，与
黄兴、
宋教仁等宣扬革命。翌年，赴北京，主《新民日报》笔政。1914年，任北京大学预科讲师，两年后续聘为国文系教授，与舅父陈黻宸、兄林辛并主讲席；还兼
北京师范大学、中国大学讲席。
五四运动前后，和北大黄离明等教授持旧学观点，组织汉学研究会，创办《唯是学报》，宣传文言文与儒家传统理论，与
钱玄同、
胡适等论战，曾发表长达数万言《汉学存废问题》一文，影响颇大。
1927年春离北大，赴沈阳任
东北大学教授。次年返归江南，在上海交通大学任教，后游广州。1929年，重主北大讲席，并兼国史编纂处编辑。但仍坚持与新派抗衡，处境尴尬。1934年夏去职，曾在《世界日报》发表《致北大文学院长兼国文系主任胡适》一信，胡未有作复。秋，去南京任中央大学讲席。1936年秋，去
西北农林专科学校任教。
抗日战争爆发后，返归瑞安，里居不出。1940年8月26日，因肺病去世，终年五十岁。瑞安和重庆两地同时举行规模盛大的公祭大会。民国政府主席
林森颁令褒扬，曰：“前
国立北京大学教授林损性行英迈，学术湛深，曩年参加革命，奔走宣传，不辞艰苦，嗣即努力教育，潜心著述，于政学理，多所阐扬，夙为后进钦响。”张学良则亲笔书写挽幛“人师、经师、国学大师”，表示深切哀悼。
林损治学严谨，不为清代考证、训诂、词章之学所拘，对经史诸子、诗文辞章等无不通晓，并继承
永嘉学派传统，倡名理经世之学。2002年，台湾读册文化事业有限公司出版了《林公铎先生全集》（二册）。另外，由瑞安
陈镇波编辑的《林损集》也将要出版。2009年4月28日，瑞安市在
玉海楼举行“纪念林损先生座谈会暨林损遗作手稿捐赠仪式”，林损先生的两个女儿和外孙将珍存多年的林损遗作、手稿等共962件悉数捐献给
瑞安市文物馆。
林损长于记诵，许多古籍都能背诵。任北大教授时，当时的北大校长
胡仁源认为他的文学造诣“
陈亮、
叶适不能过也”。
吴宓与之久谈，“甚佩其人。此真通人，识解精博，与生平所信服之理，多相启发印证”。他又持才傲物，喜欢喝酒骂座，与
胡适论学不合。
周作人《北大感旧录》中说他的脾气古怪，讲话极为直率，近于不客气。
傅斯年竟说他是败类
桑兵。
林损死后，士林震悼，瑞安当地和陪都重庆分别举行公祭，各地挽幛纷至，国民政府主席
林森曾明令予以褒扬。