李祖荫从小受家庭熏陶，勤奋苦读，学有根底。1927年，他在北平朝阳大学法律系毕业后，即东渡日本，就读于
明治大学法律系专攻科。未及毕业，即应北京燕京大学之聘，于1930年回国，历任该校（专任）讲师、副教授。同时兼任朝阳大学教授、名誉教授及《法律评论》总编辑。后因与燕大教务长美国人司徒雷登意见不合，从1936年起便专任北大教授，只在燕大兼课。
抗日战争爆发，北平沦陷，李祖荫拒不参加日伪组织的中南海怀仁堂大学教育界的集会。汉奸登门威逼利诱，他大义凛然，刚正不屈，并出示遗嘱，表示誓死不从的决心。
1937年冬，他冲破险阻，逃出北平，绕道天津、香港、广州，抵达长沙，参加由北大、清华、南开三校联合组成的临时大学教学工作。次年，该校西迁昆明，他因父母年老体衰，便留在湖南，受聘为
湖南大学教授，同时兼任民国大学教授，并为湖大创办法律系，任系主任；后又兼任训导长、法学院院长等职，直至长沙和平解放。
1944年，国民党政客李毓尧出任湖大校长，引起学潮。他身为训导长，因反对迫害学生而被解聘。李毓尧去职后，法律系全体学生一致要求李祖荫回校主持法律系工作，并于1945年暑、寒假两次派代表到祁阳，登门恭请，1945年底他重新回到湖大。在湖大教授中他威信很高，在全国法学界也有很高的威望。但他在旧社会从不作官，一心致力于教育事业，志在推进民主与法治。西安事变前夕，蒋介石电召蒋梦麟、梅贻琦等著名教授去西安，他也是受召者之一，拒不应命。在湖大被解聘不久，国民政府曾任命他为某省高等法院院长，他一笑置之，不予理睬。
抗战胜利前后，他的思想进一步倾向进步，逐渐了解和接受共产党的政治主张，同情和支持进步学生活动，成为当时湖南最著名的进步教授之一。1946后，他敢冒风险，在国共两党斗争高潮中，毅然聘请中国共产党创始人之一的李达担任湖大法学院教授。
1949年湖南和平解放前夕，在李达和其他共产党员的影响和帮助下，他应省长程潜的邀请出任省
教育厅长，积极参与湖南和平解放活动，尽力保护进步师生，营救被捕学生钟振农、龙汉河出狱，抵制国民党反动措施，拒不执行白崇禧将教育厅和某些学校撤离长沙的命令，对促进湖南和平解放和保护湖南的教育事业做出了贡献。
长沙和平解放后不久，他应召去北京。中华人民共和国成立后，任中央人民政府法制委员会委员兼民事法规委员会主任。以后历任
国务院参事、国务院法制局委员、法制史研究室主任、全国人大常委会办公厅法律室顾问，并参与《宪法》、《婚姻法》等重大法规的起草和修改工作。他还是中国人民政治协商会议第一、二、三届委员。晚年，他仍然关心法学教育，勤于著述，为北京大学研究生讲授《中国法制史》，组织编写《清史刑法志注释》和《中国民法史书目简介》。上述两书均于1958年由法律出版社出版。
李祖荫治学严谨，博采众长，穷本究源，自成一说。对民法造诣尤深，蜚声法学界。著作十余种，共数百万言，已出版的主要专著有：《比较民法总则编》、《中华民法总则评论》、《民法概要》、《法律辞典》、《法律学方法论》等，这些著作均有较高的学术价值，影响颇大，曾被许多大学法律系用作教材或主要参考书。他还编纂了《法律艺文综》、《民法文选》、《古今法学文选》、《英文民法文选》等书。