该军前身是宁夏马鸿宾、马鸿逵部。1930年中原大战后，马鸿宾部被改编为新编第7师、马鸿逵部被改编为第35师。1933年，宁夏“二马”所属部队奉命对调部队番号，马鸿宾部的新编第7师改称第35师。1937年7月，抗日战争全面爆发后，国民党军以马鸿宾部的第35师扩编成第81军。1946年初，第81军改整编第81师，原军长马惇靖改任师长，马忠任副师长。1948年9月，整编第81师恢复第81军番号，隶属西北军政长官公署。

该军前身是宁夏马鸿宾、马鸿逵部。1928年秋，宁夏“二马”在国民革命军北伐的影响下，率部归顺冯玉祥的国民联军。

1929年5月，国民政府在南京召开军事编谴会议后，宁夏“二马”为保存实力，率部背叛冯玉祥后投靠了蒋介石。

1930年中原大战后，马鸿宾部被改编为新编第7师、马鸿逵部被改编为第35师。

1933年，宁夏“二马”所属部队奉命对调部队番号，马鸿逵部第35师改为新编第7师，马鸿宾部的新编第7师改称第35师。

1937年19月，抗日战争全面爆发后，国民党军以马鸿宾部的第35师扩编成第81军，隶属国民革命军第十七集团军。马鸿宾任军长，下辖第35师（马鸿宾兼任师长）和独立第35旅，马献文任旅长。该军组成后，驻防在绥西地区。

1938年5月，该军奉命参加了绥西抗日作战行动。

1939年4月，马鸿宾升任第17集团军副总司令兼参谋长。该军所属部队编制不变。同年秋至1942年初，该军从绥西移防伊克昭盟北部达拉特旗的黄河南岸，主要担任黄河河防的守备任务。在此期间，该军抗击从归绥西犯的日伪军，打退了日伪军的多次进攻，并收复了伊克昭盟滩地及沙窝地区。

1942年初，该军再度回防绥西，在包头南大树湾、桃力民一带担任防守任务。

1943年，该军撤回宁夏中卫休整后，将独立第35旅扩编成暂编第60师。此时，该军辖第35师，马惇靖任师长；暂编第60师，马献文任师长；还有一个骑兵团。

1945年9月，抗日战争结束后，马鸿宾辞军长之职，由其子马惇靖继任军长，下辖部队编制不变。

1946年初，国民党为发动全面内战，对军队进行大规模的整编，第81军改整编第81师，原军长马惇靖改任师长，马忠任副师长。原辖第35师改编为整编第35旅，马惇靖任兼任旅长；原暂编第60师改编为暂编第60旅，马献文任旅长。

1947年初，暂编第60旅改番号为整编第228旅。此时，该师下辖整编第35旅、整编第228旅。5月，整编第81师奉命参加了陇东三边战役。在此次战役中，整编第81师被人民解放军歼灭1个团。

1948年9月，整编第81师恢复第81军番号，隶属西北军政长官公署。马惇靖任军长，下辖整编第35旅、整编第228旅恢复原师的番号。其中，第35师，马惇靖兼任师长；第228师，马献文任师长。

1949年该军将第228师改番号为第294师，并新增编第358师。此时，该军下辖：第35师，马奠邦任师长；第294师，马绍翰任师长；第358师，马明德任师长。同年7月至9月，该军先后参加了陇东战役、宁夏战役等作战。

在宁夏战役中，该军在遭受人民解放军的沉重打击后，在西北军政长官公署副长官马鸿宾的率领下，于宁夏中宁地区起义，接受人民解放军的改编。

1940年，日军西犯，马鸿宾正在重庆参加蒋介石召开的高级军事会议，部队由35师师长马腾蛟指挥。2月1日早晨，敌机轮番轰炸我乌镇阵地后，日寇主力第3路第26机械化师团万余人，分乘780余辆汽车、装甲车、坦克疯狂向35师205团的司仪堂阵地、208团的乌布浪口阵地扑来。敌我双方激战数回合，至夜9时，我虽伤亡惨重，但仍固守阵地。敌见久攻不下，敌飞机不断利用顺风向我方阵地施放毒气，使得我军官兵不断咳嗽、流鼻涕，淌眼泪。中毒轻的人尚能坚持作战，但有些人胸闷、头痛、呕吐，根本不能作战，只得送下火线，大大削弱了部队的作战能力。至夜10时，马腾蛟师长令206团2营增援，但寡不敌众，208团于夜11时失守乌布浪口阵地。 次日拂晓，坚守司仪堂阵地的205团与敌展开了刺刀战。官兵们的刺刀捅弯了，就抱住敌人用牙咬，或拉响手榴弹与敌人同归于尽。但是，35师终因武器低劣和寡不敌众而全线败退。8时，敌机械化部队进至临河，与傅部35军和宁夏马光宗的骑一旅等部激战6小时后，相继占领临河、五原。 当时远在重庆开会的马鸿宾得到81军绥西败退的消息后，立即飞返当时的宁夏磴口县，组织抢救伤员，重整部队两个团，令35师104旅旅长马培清重返绥西前线，继续在傅作义将军指挥下，收复失地。 3月20日夜零时，傅作义将军率35军及宁夏35师等部向日军反攻。双方激战两天，我军终于收复临河、五原，击毙日军中将师团长水川及其日伪军数千人，从此日军再未敢进犯绥西。 绥西战役中，马鸿宾部的马腾蛟35师艰苦战斗，屡创敌军，与中国第8战区副司令长官兼第35军军长傅作义部密切配合，收复了大片国土，包头以西、黄河以南地区的日伪势力悉被肃清。这次战役，对保障宁夏、甘肃和陕北后方安全起到巨大的作用。战斗中，马鸿宾部35师牺牲1000余人，伤2000余人，其中冻伤者就达700余人。在后来寻找35师烈士们的遗体时发现，有的官兵虽面目全非、肢体不全，但嘴里仍死死咬着敌人血淋淋的耳朵；有的官兵虽伤痕累累，但带血的双手却紧紧抱住敌人不放，仇恨的十指深深抠进敌人的肉里，难以拉开……悲壮的场面，催人泪下。临夏和宁夏数千名抗日将士为了捍卫民族利益，英勇战斗，血染绥西的大无畏精神，受到人民的广泛赞扬。这是临夏健儿在抗战史上极其光辉的一页。

1940年5月，当35师重返五原乌布浪口阵地时，当地百姓自发地用极其隆重的安葬仪式，当地民众和35师的善后人员只找到148具旷野中的烈士遗骸，辨明姓名和部队番号后掩埋于乌不浪口西侧的山坡之下，从此成为一片公墓。

有人在后来评论这场战斗时说：“举世闻名的台儿庄、长沙等战役，国军英勇奋斗的精神，亦不过如此”。为了表彰马家军的抗日功勋，国民政府给马鸿宾颁发了“忠勤勋章”。 直到55年后的1995年，五原清真北寺在墓地立石碑一座，碑文为：抗日81军35师民族英雄烈士纪念碑。1997年，巴彦淖尔盟、乌拉特中旗政府和民众再立碑一座，定为烈士陵园。