光绪二十一年（ 公元1895年）12月末，新式陆军自强军在江宁（今江苏南京）组建。

1895年7月（光绪二十一年闰五月），署两江总督张之洞针对清军颓败之势，提出在南洋精练一支新军的设想，并开始在江苏现有各营中挑选精壮，以洋将统带操练，进行编练试点。12月，张之洞呈递江南新军编练计划及编制规划，并冠以自强军之名。1896年1月，清政府批准张之洞所奏，自强军在江宁（今南京）正式建立。自强军规定，所募兵员必须是距江宁不太远的“土著乡民”，年龄16～20岁，“用西医验其身躯，壮健并无隐疾，目光及远者”；年籍身家易于清查，并有族邻乡绅作保。为确保部队的稳定性，凡被录用者，必须声明情愿效力10年，只准开革，不准辞退。全军分为步兵、骑兵、炮兵和工程兵，各以营哨为基本建制单位。步兵每营250人，分为5哨；骑兵每营180骑，分为3哨；炮兵每营200人，分为4哨；工程营100人。名为完全参照德国陆军编制，实则步兵一营仅相当于德军的一连。按编练计划，全军先设步队8营、马队2营、炮队2营、工程队1营，共13营2860人。统带以洋将充任，所辖各营哨主官亦由洋将担任；另设副营官副哨官，由清朝武职人员及武备学堂学生担任。洋将掌“带兵操练之权”，华将掌“约束惩责之权”。官兵薪饷从优。1896年2月，张之洞回任湖广总督，自强军交刘坤一接办。因刘坤一并无发展新军的意愿，遂遭冷遇。先由江宁迁移吴淞，后又迁至江阴；下辖马队2营被合为1营，取消了工程队的建制，全军仅2588人；兵丁的薪饷也略予降低。另外，刘坤一还设立“总理自强军营务处”以督率全军，改变了洋将悉掌自强军督率大权的局面。1898年4月，洋将合同期满回国，署江南提督李占椿接统。1901年7月，前往山东，归袁世凯节制。不久，与武卫右军合并改编为北洋第6镇，纳入北洋军序列。自强军在江南颇有影响。浙江、四川等省新军编练多借鉴于自强军，有不少自强军官佐被调往南方一些省份教练新军。

自强军驻扎南京，在城内购建营地营房，进行操练。并设立营务处管理全军营务，江宁知府钱询为自强军洋操提调，总理营务处。1896年8月，全军移驻吴淞，原吴淞驻军移扎狮子林炮台，腾出营地操场，供自强军训练。

自强军在吴淞安顿以后，开始了正规的军事操练。为了督操方便，将步队8营分为左右两翼，每翼4营，士兵们开始了紧张的训练，每天几乎“无一刻之偷闲”。步队使用的武器是1888年新式小口径双筒毛瑟枪，炮队2营使用武器分别是克虏伯八生的后膛钢炮及英国麦克信七生的半后膛钢炮各6尊。马队操练器具主要是长矛，炮队马队士兵则都备有新式小口径双筒马枪。1897年5月1日，自强军在吴淞举行阅操，邀请了驻沪各国领事、水陆团练各将弁共170余人观看。阅毕，上海的西文报刊评论说：“此军人人体气强壮，枪械整洁”，步队“听其扳机作势之声则千人一律，及装药放响则初次不齐，二、三次较佳”；炮队钢炮“皆精利之器，光洁绝伦，……炮手之技洵称敏捷”；马队“操亦甚精，进退徐疾，皆如人意”。连当时江苏巡抚赵舒翘视察自强军时，对其“行军阵法”，也发出“江南诸军无如自强军”的感叹。国内舆论更对自强军“士躯之精壮，戎衣之整洁，枪械之新炼，手足之灵捷，步伐之敏肃，纪律之严谨”，赞叹不已。大阅操的成功，使自强军名声大振，令中外人士有耳目一新之感。

1898年5月，新任自强军统带江南提督李占椿带军移驻江阴，以便与镇江上游诸军相互联络，自强军加入了江防行列。这时期，自强军遣散了洋将，全归华将自统。军队营制上增加了江南提督亲兵一哨。全军在靠近江阴沿江炮台附近，择地驻扎，以备有警时与炮台互相策应。1898年9月，刘坤一谕：三十七营防军练洋操，每哨由自强军酌拨排长一名充任教习，一切操法都按自强军的章程。自强军调出排长的缺额，由统带另行募补，又将自强军新纂之《西法类编》一书分发江南防军各营旗，责成营哨官诵习。

1901年9月清廷下旨命自强军“将亲兵一哨仍留下”外，“所有马步炮各营借原领军械等项”调往山东，“交袁世凯酌量分布和训练”，并入袁世凯的武卫右军。1905年春与武卫右军合编入北洋常备军第四镇（统制为吴凤岭）。