煤渣胡同位于区域西南部，王府井大街东侧，属东华门街道办事处管辖，呈东西走向。东起东单北大街，西止校尉胡同，南与北帅府胡同相通，北邻金鱼胡同。全长316米，宽8米，沥青路面。煤渣胡同明朝称煤炸胡同。煤渣胡同在明代为京城澄清坊所属。按当时的规制，北京全城分为三十六坊，坊下分牌，牌下设铺，铺下才是胡同。

清咸丰十一年(1861年)在胡同中段路北设立神机营衙门，选八旗精锐一万五千人，配备新式步枪，由恭亲王奕䜣率领，负责守卫紫禁城和三海，并扈从皇帝巡行。一时间，八旗京官争相投效，煤渣胡同顿为旗人所瞩目。庚子年间，外国入侵，神机营不战而溃，连衙署也被八国联军毁坏。到光绪末年，清政府在神机营旧址办起“贵胄法政学堂”，入学的多是富家子弟，他们或是根本不来上学，或是来了只知吃喝玩乐。袁世凯上台后将之改为招待所。招待所的第一批客人便是民国元年(1912)2月27日孙中山派遣的由蔡元培、宋教仁等组成的专使团。专使团的任务是敦促袁世凯离京到南京就任总统。袁世凯表面上对蔡元培等表示欢迎，但实际上却不愿离开北京。他一方面指派亲信到专使团驻地，力陈袁世凯不能离开北京，否则必然发生内乱。另一方面指使部下发动兵变。29日夜，袁世凯的部下在东城、西城同时放火、抢劫。乱兵闯进专使团的驻地，搜人、抢劫、放火，将专使团的文件、行李抢劫一空。南京闻讯，只得妥协，同意袁世凯在北京就任总统。日伪时期，神机营旧址又成为日本宪兵队。民国时改为陆军部军需学校。胡同内还有美国圣经会、英文北平《时事日报》，东口北侧有基督教青年会旧址。“文革”中煤渣胡同一度改称瑞金路七条，后恢复原名。现原招待所的建筑已拆除，盖起了高楼。

当时按系统对口接管，被服厂由解放军后勤部门接管，以后变成北京军区后勤部的地方。《时事日报》由人民日报社接管，这处地方就有五进院落，还附设有礼堂。

因为到和平解放北平之时，煤渣胡同至少还有好几个极有规模的大宅院，神机营衙门和冯国璋府邸肯定就是其中了。解放军进城接管前，一处大院落是国民党的军需被服厂，一处大院落是国民党在北平所办的英文《时事日报》社。当时按系统对口接管，被服厂由解放军后勤部门接管，以后变成北京军区后勤部的地方。《时事日报》由人民日报社接管，这处地方就有五进院落，还附设有礼堂。人民日报社所接管的两个主要地方，除煤渣胡同的院落而外，还有王府井的国民党《华北日报》社。那里作为报社的办公地，煤渣胡同的这个院落，部分办公，部分工作人员居家，邓拓等人民日报社主要负责人就都曾在此住过。而解放初期，人民日报的很多大会，都是在煤渣胡同的礼堂里开的。

到1984年，煤渣胡同东口的“中华圣经会旧址”即今北京市基督教教务委员会被确定为北京市文物保护单位。而远比其历史长久并更具建筑特色的神机营衙门旧址和冯国璋府邸都在20世纪60年代中期被拆除，改建成了居民楼，再也无复旧貌了。两个院落的很多地块，后来被用于兴建五星级的王府饭店了。

据记载，入于民国，时人称为“北洋三杰”之一的冯国璋的府邸也在煤渣胡同。“北洋三杰”被誉为龙、虎、狗，以此拟之，自有人品高下之分，龙为最高，等而下之，狗为最低。“三杰”中龙为王世珍，虎为段祺瑞，狗即冯国璋。但首发的王世珍却没有当国执政的经历，其次的段祺瑞任过国务总理和“执政”，最末的冯国璋倒做过大总统的。他入主中南海总统府之前的府邸，当然也不会差，但是究竟是神机营衙门的旧址，还是煤渣胡同的另一个院落，现在却难以考证了。

煤渣胡同内还有一个院落存留至今，也颇有些讲究的。一是东口北侧的煤渣胡同1号，大红门，两层楼，样式也是西洋建筑的风格，估计原来是中华圣经会的附属建筑，以后成了独门独院的高级住宅，现在仍是原外贸部长林海云的住处。另一个院落在胡同南侧，也是两层楼房，其住户先是老一辈无产阶级革命家滕代远，新中国首任铁道部部长；以后的住户是曾任河北省委书记，再调任为国务院秘书长的金明。现在已被拆除