令德堂书院创建于1883年(光绪九年)。于通省择诸生之高才者人内深造。令德堂与晋阳书院同为全省士子之最高学府，其原址为太原府署后之宝贤堂(今
山西省实验中学)，经张之洞奏准筹建，正式开办于1884年5月(光绪十年四月)。晋阳书院山长王轩，被特聘为令德堂书院之总校主讲(山长)，杨深秀、杨笃、张子铸、张铁生等均被聘为分校兼协讲。
1884年，张之洞饬冀宁道详议令德堂章程六条四十二目（载光绪《晋政辑要》卷23，《礼制。学校六》），举凡延请主讲，编立功课，修缮杂支，书籍购置，课卷
日记定式刊印，监院教谕，书役斋夫，巡更杂役之责，均议立章程，“以期历久可行”。其生员由提学使从全省各府、州、县选拔。首批共40名，后扩至50人，陆续增至70人，“其后通省人才多出于此”。每人月供给公费银4两，其中上舍生(贡生)为8两。以经史、考据、词卷等科目教士。
戊戌变法期间，令德堂肄业生增至120人，院长屠守仁进行教学改制，添设政治事务、农工物产、地理兵事、天算博艺等经济日课四门，学生任选一门，以便“广览众参”。要求学生仿照王应麟《困学纪闻》、顾炎武《日知录》体裁，每天写日记一二条，定为“日课”。每月完成1本，交协理审阅，评定等级，按等给奖。经史是必修科目，每月“默经”1次，不得少于500字，每月作“策论”1次。据载，1885年乙酉乡试，有文能运用许氏《说文》及史学词章具有根底者皆属令德堂肄业生。
令德堂课士，仍为传统书院规制，所延聘山长、分校都是对经史古学造诣颇深的儒生，如主讲王轩（洪洞人）为同治壬戊进士，幼治三礼，习许氏《说文》，于地理学、金石考订颇有成就；协讲杨笃（乡宁人）为同治甲子举人，精三礼，尤专训古。王、杨均为光绪《山西通志》的主要纂修人；协讲杨深秀（闻喜人）为光绪丁丑进士，治朴学，为后来著的“
戊戌六君子”之一。
光绪而十六年（1900年），
义和团运动爆发，天主教士安怀珍、刘博第等强占为临时教堂，学堂因此停办。其肄业生后来一律转入新设立的
山西大学堂，山西大学堂之中学专斋最初的教学内容和方法多承袭令德堂旧制，而山西大学堂创办人之一谷如墉及教师田应磺、张友桐、董化时等都是令德堂早年之毕业生。