该军的前身是第29军的骑兵部队。1937年8月,国民党第一集团军将
宋哲元第29军的骑兵部队扩编为骑兵第3军。郑大章任军长,下辖:骑兵第4师,王奇峰任师长;骑兵第9师,郑大章兼任师长。该军组成后曾参加了津浦路北段沿线作战和徐洲会战等;由于该军战马死伤严重难以补充,1938年6月该军番号被撤消。
该军前身是绥东骑兵司令部所属部队。1941年1月,国民党陕甘宁边区总司令部将绥东骑兵司令部改编为骑兵第3军,郭希鹏任军长,王天任、吴允周任副军长,下辖:骑兵第9师张顺德任师长;骑兵第10 师,谭辅烈任师长。1942年7月,骑兵第10 师改隶属第91军,另以新编第3师改编为新编骑兵第7师,拨归骑兵第3军建制。此时,该军下辖骑兵第9师,张占魁任师长;新编骑兵第7师,白海风任师长。1943年9月,该军隶属第38集团军时,郭希鹏任第3集团军副总司令,贺光慊接任军长,
姚黎天、吴农华任副军长。下辖骑兵第9师和新编骑兵第7师番号不变。1945年4月,新编骑兵第7师被裁减。同年7月,骑兵第3军番号撤消,其所辖骑兵第9师改隶属第1战区直辖。