光绪二十七（1901）年，清政府罢武科，命各省建立武备学堂。江苏武备学堂建于是年七月，位于苏州盘门外，为当时江苏布政使护理江苏巡抚聂辑槼委托丁翘山建立。武备学堂由丁翘山进行军事教育的随营学堂改建，学生基本为保送生，自江苏防营挑选识字兵勇40名为正课生，选募官绅子弟用及文武举贡生、监生40人为附课生，修业三年。

1902年，聂缉槼等奏报江苏武备学堂开办情况，称：“设堂之大要纲领：一曰测量，以能窥敌军之远近，定枪炮之缓急；一曰舆地，以能辨山川之形势，分防守之重轻；一曰训练，……；一曰军械，……。以上四事，初学切要之端，皆须有人指授，方能再谕其余。”

课堂课业有战法、战势、军械、测绘、算学、营垒、汉文；外场课业有操枪、操炮、柔软体操、器械体操、打靶、行军等。

柯冠时、苏谦等人曾在学堂任教官。

因江苏虽为一省，省署却分驻二地，即江苏巡抚驻苏州，两江总督驻江宁，且两江总督魏光焘于光绪二十九（1903）年在江宁建成江南武备学堂。后清政府根据练兵处奏报出台《陆军学堂办法》，规定各省武备学堂一律改为陆军小学堂，但各省名额只有一个，江南武备学堂改为江苏陆军小学堂,最后不得不给江苏增加一个名额。江苏武备学堂在光绪三十四（1908）年八月改为江苏陆军速成学校。