明永乐九年（1411年）遣
尚书主持治河，后有时派遣
侍郎、
都御史，
成化七年（1471年）设河道总督（简称河督、总河），驻扎
山东省济宁市，首任总河为工部侍郎王恕。明初黄河为患较轻，朝廷以管理漕运的都督兼管河务。遇有洪灾，临时派遣总河大臣一员前往治理，事毕即撤，并非常设。
正德四年（1509年）规定以都御史充任。
嘉靖十三年（1534年），以都御史加工部尚书或侍郎职衔，
隆庆四年（1570年）加
提督军务，
万历五年（1577年）改总理河漕兼提督军务，八年（1580年）废。万历三十年（1602年），朝廷将河、漕再次分职，此后直至明亡再未复合。
清置河道总督专官，掌管
黄河、
京杭大运河及
永定河堤防、疏浚等事。治所在山东济宁，首任河督
杨方兴。
康熙十六年（1677年），总河衙门由山东
济宁迁至江苏
清江浦（今江苏
淮安市）。河道总督驻扎清江浦，一旦河南
武陟、
中牟一带堤工有险，往往鞭长莫及。雍正二年（1724年）四月，设副总河，驻河南武陟，负责河南河务，以兵部左侍郎
嵇曾筠为首任副总河。两年后，黄河险段由河南逐渐下移至山东，朝廷又将山东与河南接壤的曹县、定陶、单县、城武等处河务交由副总河管理。
雍正七年（1729年）改总河为总督江南河道提督军务（简称江南河道总督或
南河总督，管辖江苏、安徽等地黄河、淮河、运河防治工作），副总河为总督河南、山东河道提督军务（简称河东河道总督或河东总督，管辖河南、山东等地黄河、运河防治工作），分别管理南北两河。遇有两河共涉之事，两位河督协商上奏。遇有险工，则一面抢修，一面相互知会。总河则演变成南河总督，仍驻清江浦；副总河演变为河东总督，驻扎
开封。
清初只在
山东济宁设
河道总督。1677年（康熙十六年），
靳辅出任总河，因考虑到
淮安是
黄河、
淮河、
京杭大运河交汇处，是治河工程最重要处，而总河署所在的山东济宁距此路途遥远，往返不便，为便于及时掌握水情河势，就近指挥，于是在
淮安城西北的
清江浦原户部分司旧衙署设立行馆。雍正七年(1729年)，正式分设江南河道总督（简称南河总督），驻节清江浦；以及河南、山东河道总督（
东河总督），驻
济宁。次年又增设直隶河道总督（
北河总督），归
直隶总督兼领。时南河总督辖有4道、24厅、24营，河督署规模庞大。历任河督中，政绩比较显著的有
张鹏翮、
徐端、
黎世序等。