戴克里先将整个帝国分为两部分，在意大利和希腊各设立一个皇帝（称
奥古斯都），辅佐他们的各设一个副皇帝（称凯撒）。“
四帝共治制”并不是把帝国分裂成四块，而只是四个人去承担整个帝国的防卫任务，而且，四位皇帝之间的地位不平等，等级划分得很清楚。
君士坦丁大帝于324年重新将自己立为整个帝国的唯一皇帝。君士坦丁决定建立一个新的首都，他选择了
拜占庭（今天的
伊斯坦布尔）。330年这个首都建成了，君士坦丁称之为新罗马（Nova Roma），但一般人称之为君士坦丁堡（Constantinople，意为君士坦丁之城）。这个新的首都成为他的管理机构的中心。君士坦丁也是第一位信仰
基督教的皇帝。虽然在君士坦丁的统治时期这个帝国还不是拜占庭帝国，但基督教是拜占庭帝国的一个特性，是它与相信
多神教的罗马帝国的分界线。
另一个分界线是378年的
亚德里亚堡之战。这场败仗，以及皇帝
瓦伦斯之死可以被看成是古代帝国和中世纪帝国分家的时间。瓦伦斯的继承人狄奥多西乌斯一世（又译为
狄奥多西一世，有时也被称为大帝）将整个帝国再次分开。395年1月17日他将这两部分分别交给他的两个儿子
阿卡迪乌斯和霍诺里乌斯（
弗拉维乌斯·奥古斯都·霍诺留）。阿卡迪乌斯成为东部的统治者，他的首都是君士坦丁堡，霍诺里乌斯成为西部的统治者，他的首都是米兰。从这个时候开始东部的这个帝国一般被称为东罗马帝国，或
拜占庭帝国。
东罗马帝国的主宰文化是希腊文化。希腊语不但是日常用语，而且是教会、文学和商业的共同语言。对于当时的罗马人来说，今天对“西部的拉丁帝国”和“东部的希腊帝国”的区分，以及今天所强调的东部的帝国并不是“真正”的罗马帝国，并不重要。罗马帝国是一个多语言的帝国，东罗马并不例外。在这个国家里有希腊人、弗拉赫人、
亚美尼亚人、犹太人、埃及人、叙利亚人、依利里亚人和
斯拉夫人，他们都有自己的语言。但希腊文化从帝国的都市如君士坦丁堡、安条克、以弗所、塞萨洛尼基和亚历山大传向全国。虽然当时还不很明显，但东罗马帝国在其学者如约翰·桂索斯通的影响下发展了他们自己风格的基督教。
东罗马帝国基本上避免了西罗马帝国3世纪和4世纪所遭遇的困难。首先这里的城市文化已经相当成熟了，其次
民族大迁徙时的入侵主要吸引是罗马的财富。5世纪中西罗马帝国多次被征服，东罗马帝国顶多交纳贡献就可以免除遭难了。狄奥多西斯二世（
狄奥多西二世）加强了君士坦丁堡的城墙，使得这座城市成为被“野蛮人”攻不破的城市。476年当西罗马帝国灭亡时东罗马帝国的利奥一世与
哥特人谈判，他结束了哥特人对东部帝国的威胁，但他也不再打算重新征服西罗马帝国疆土了。