1940年1月，“
晋西事变”后，为巩固太岳区，加强该地区的军事力量，
八路军第
386旅及总部特务团进入太岳区，配合决死第1纵队与进攻张家店之阎军以严重打击，巩固了太岳区根据地。6月，根据北方局
黎城会议决定，成立太岳军区，由八路军第
129师第386旅兼军区领导机关，对外称太岳纵队。太岳军区首任司令员为陈赓将军，副司令为王新亭。1943年，陈赓去延安学习，司令员由王新亭担任。
解放战争时期的太岳军区对外称太岳纵队，是抗日战争时期太岳军区的延续。1945年8月，晋冀鲁豫军区成立后，太岳军区隶属晋冀鲁豫军区建制。王新亭任司令员，聂真任政治委员，孙定国任副司令员，裴孟飞任副
政治委员，邓仕俊任参谋长，桂绍彬任政治部主任。辖第1、第2、第3、第4、第5军分区。1945年10月，太岳军区参加上党战役。12月1日，晋冀鲁豫军区根据中央军委拟调第4纵队赴东北作战的预先号令，由太岳军区部队组建第8纵队，辖第22（第4纵队第11旅改称）、第23、第24旅。12月5日，中央军委决定，第4纵队不调往东北，仍留太岳军区。12月13日，太岳军区根据晋冀鲁豫军区的命令，将原5个军分区重新划分为4个军分区，撤销第2军分区，将第3、第5军分区依次改称第2、第3军分区，第1、第4军分区番号不变。12月下旬，晋冀鲁豫军区报经中共中央批准，第4、第8纵队合并为第4纵队，撤销第8纵队番号。所辖第23、第24旅划归太岳军区建制，第22旅恢复第11旅番号，归建第4纵队。至此，太岳军区下辖：第1军分区，李聚奎任司令员，刘植岩任政治委员；第2军分区，张祖谅任司令员，刘尚志任政治委员；第3军分区，王墉任司令员，柴泽民任政治委员；第4军分区，郭庆祥任司令员，薛迅任政治委员；第23旅，贾定基任旅长，车敏瞧任政治委员；第24旅，刘金轩任旅长，李耀任政治委员。
1946年1月，太岳军区将第1、第2、第3、第4军分区依次改称第18、第19、第20、第21军分区。1月底，晋冀鲁豫军区决定，将太岳军区第23旅划归晋冀鲁豫军区第4纵队建制，改称第12旅。3月，恢复第1、第2、第3、第4军分区番号。6月，第4纵队第12旅划归太行军区建制，改称太行军区独立旅。8月至11月，该军区先后参加了同蒲路战役和吕梁战役。11月23日，晋冀鲁豫军区决定，太行军区独立旅划归太岳军区建制，改称太岳军区第12旅。
1947年1月27日，中央军委决定，太岳军区第12旅改称太岳军区第23旅。2月，太岳军区又以第1军分区新编第7团、第2军分区警卫团、第4军分区独立第5团组成第22旅。5月15日，太岳军区第24旅划归晋冀鲁豫军区第4纵队指挥，并改称第12旅。7月2日，晋冀鲁豫军区决定，组建晋冀鲁豫军区第8纵队。28日，以太岳军区机关一部与第22、第23旅合编组成第8纵队，并以第2军分区第40团、第3军分区第49团、第4军分区第59团重建第24旅，归第8纵队建制。9月2日，太岳军区第5军分区成立，郭庆祥任司令员，刘道安任政治委员。是年，该军区先后参加了汾孝战役、晋南攻势和乡宁、闻夏战役。
1948年3月，由太岳军区机关一部组成太岳军区前方指挥所。5月，华北军区成立后，太岳军区划归华北军区建制（为二级军区）。刘忠任司令员，王鹤峰任政治委员，方升普任副司令员兼参谋长，顾大川任副政治委员，高德西任政治部主任。下辖：第1军分区，刘聚奎任司令员，刘植岩任政治委员；第2军分区，涂则生任司令员，刘尚志任政治委员；第3军分区，李志明任政治委员；第4军分区，卫恒任政治委员；第5军分区，郭庆祥任司令员，刘道安任政治委员。同时，将晋冀鲁豫军区第8纵队亦划归华北军区建制。3月26日，中原军区决定，将太岳军区第5军分区划归豫西军区建制，并改称第1军分区。7月2日，华北军区根据中央军委指示，以太岳军区第1、第2、第3、第4军分区的10个团和太岳军区前方指挥所组建华北军区第15纵队，辖第43、第44、第45旅，归华北军区第1兵团建制。8月15日，太岳军区改称太岳警备司令部。同时，太岳军区第3军分区划归吕梁军区建制，另将第4军分区改为第3军分区。12月2日，又将太岳警备司令部改称中国人民解放军太岳军区，调整为三级军区，将所辖第1、第2、第3军分区依次改称岳北、岳南、王屋军分区。