12世纪初至宋末，是宋代
书院教育的极盛时期。鹿门书院传到吕规叔的儿子吕祖璟一代，加入了官办的意味，并有了大幅度的教学改革。吕祖璟本来是一介书生，面对着敌人的金戈铁马而投笔从戎，后来官至淮南安抚使（
淮南地区的军政长官）。因与当时的
宰相韩侂胄不合，走了父亲的老路：辞官。宋宁宗写了一首长诗送行，并准许他还乡后继续演武训兵，于是就有了赐建更楼之事。吕规叔将他的政治热情全部转移到办学上，建造书院不遗余力，“凿山叠石一朝成，结构精舍三十楹”，而自己的安家之处，却草草了事，“叠书岩畔草堂开，杂树无多多种梅。”草堂，就是茅舍。住得简陋无所谓，美化环境最要紧，于是每到春天，这里疏影横斜，白花如海，人们称之为白宅墅。
当时，与鹿门书院遥相呼应的，有
东阳石洞书院，
金华丽泽书院。吕规叔深知学术交流对书院发展的重要，不管是何种学派，他都抱着“兼容并蓄”的态度。
宋淳熙元年（公元1174年），吕规叔的侄子、丽泽书院的创办者吕祖谦来到鹿门书院讲学。吕祖谦是南宋理学浙东学派的代表人物，与朱熹的闽学派和张栻的湖湘学派并驾齐驱，一时间，绍兴、宁波等地的学生慕名而来。
过了六年，鹿门书院又迎来了当朝第一学者——与吕规叔素有交往的大哲学家朱熹。史书记载，浙东大饥，时任浙东常平盐使的朱熹来嵊赈灾，访吕规叔于鹿门，并在鹿门书院讲学，题写“贵门”二字，自此
鹿门改为
贵门。
借赈灾之便而来鹿门书院讲学，多少有点不务正业之嫌。朱熹以道德文章见长，但并非迂腐古板的
冬烘先生，有时看书看到头晕眼花，也会发发“书册埋头无了日，不如抛却去寻春”的牢骚。讲学之余，朱熹到白宅墅吕规叔的草堂溜达，看到四周老梅怒放如
琼花，便大发诗兴，挥笔题下“梅墅堆琼”，见村口的访友桥下泉水叮咚可爱，又书“石泉漱玉”。《梅墅记》对朱熹书法的评价很到位：“瘦健苍古，别具神锋”。
吕祖璟继承了父亲的文化教育事业，又把练武纳入教学之中，从此，鹿门书院成了全国少有的培养文武全才的地方。当时，东侧是更楼，西侧是书院，南面的操场就是演武场，贵门到白宅墅的乡路是骑马射箭的场所。
鹿门书院以科举教育闻名，培养出来的人才是维护封建统治的，每当国难之际，书院都有学子挺身而出。但到了近代，培养封建统治人才的书院反而出了许多“
掘墓人才”。
清末民初，书院学生中有不少人参加了同盟会，比如吕韶美、吕峄，都曾留学
日本、
南洋，因而突破了旧式教育的局限，成为跟随
孙中山先生出生入死的革命志士，也成为封建社会的掘墓人。清光绪三十年（公元1905年），推行新政的光绪下令“废除科举，广设学堂”。作为旧式教育的鹿门书院从此消亡了。2009年，为保护深厚的文化资源，
贵门乡政府投资近200万元于2010年重修鹿门书院，这里成为乡土文化博物馆、贵门乡的综合文化站，也吸引了众多游人前来参观。