北兖州是因东晋侨置兖州于京口（今江苏镇江市）。义熙六年（公元410年）刘裕灭南燕，复兖州旧地，因南方已有兖州，改旧兖州为北兖州。治所在滑台（今河南滑县旧滑县）。辖境相当今山东省泰山以南汶、泗流域及鲁西平原，河南滑县、延津、杞县以东地区。南朝宋初复名兖州。

南朝宋置

泰始二年（公元466年）侨立兖州于淮阴（今江苏淮阴西南）。南朝齐改名北兖州。曾移治盱眙（今江苏盱眙东北），后复旧。辖境约当今江苏淮河以南，运河以西和高邮湖以北一带。南朝梁改名淮州。