1952年4月，由华东军区第3高级步兵学校改编而成。1953年1月10日正式开学。宋时轮、姚喆先后任校长，宋时轮（兼）、刘浩天先后任政治委员。学校初建时，设训练部、军事科学研究部、政治部、干部部、队列部、物资保障部、保密处、军法处、
财务处、招待处。设战术、射击、炮兵、装甲兵、工程兵、地形、通信、后勤、队列体育、政治经济、政治工作、文化12个教授会及7个学员班和1个练习团。1954年，编制调整为校长、政治委员领导政治部、干部部、队列部、物质保障部、保密处、财务处和10个教学班（每班设10个组），教育长领导训练部、军事科学研究部和10个教授会（合同战术、射击、炮兵、装甲兵、工兵、通信、军事地形、政治经济、政治工作、文化等）。1957年以后，教育长编制被撤销，由校长、政治委员直接领导训练部、军事科学研究部、政治部、干部部、校务部和5个军事教授会及4个系（每系辖4个教学班）。军事教授会同时受训练部业务指导；政治工作教授会和文化教授会受政治部领导。1959年2月，总高级步兵学校与
南京军事学院合并，成立新的军事学院。
学校教学以毛泽东军事思想为指导，坚持中国共产党对军队的绝对领导，体现人民军队和人民战争特色；贯彻群众路线，一切从实际出发，在已有经验的基础上，有选择地学习其他国家军队经验；做到学校教育与战备相结合，与部队训练相结合。学制分基本科和预科。基本科学制1年，主要进行军事、政治训练。军事课程开设毛泽东军事理论、战略方针、合同战术、兵种知识、外军研究、射击、战斗训练法、战争历史和
军事地形学。政治课程开设社会主义理论、军队政治工作和时事政策。预科学制半年，以80%的时间进行文化教育，20%的时间实施军事、政治训练。从正式开学到与南京军事学院合并的6年中，总高级步兵学校共培养军事干部8 700余人，政治干部3 300余人。