南北朝时期﹐战乱频繁﹐流民往往在豪强大族的控制或影响下形成有势力的集团向外流徙﹐本地的土民也在豪强大族的控制或影响下形成土民集团。因此﹐不断发生所谓“客主势异﹐竞相凌侮”的土客矛盾。北朝时期﹐除“土客矛盾”之外﹐又有所谓“城土矛盾”。这是因为鲜卑拓跋贵族凭借其部落兵入主中原﹐在中原各地依城立镇﹐士兵及其家属城居﹐称为“城民”。这种城民往往以征服者自居﹐“城民陵纵﹐为日已久﹐人人恨之﹐其气甚盛”﹐从而爆发“城土矛盾”。它实际上是当时政府与地方势力之间矛盾的表现。因此﹐这一时期土﹑客之间只是在地域﹑户籍上的区别。
隋唐统一之后﹐推行均田和租﹑调﹑徭役制(见均田制﹑租庸调)﹐自耕农数量增加。这时所谓土户，一般指在本土受田纳租调和服役的均田民。随着赋税徭役的增加﹐土地兼并激化﹐大批均田农民破产﹐背井离乡成为流民。到唐德宗时﹐杜佑指出全国土户与客户共三百余万户﹐其中土户只占五分之三。德宗说﹐“百姓有业怀土为居户﹐失业则去乡为客户”﹐这是指客户中的大多数﹐他们是丧失产业的贫苦农民。但是﹐当时也有不少官僚或一般地主﹐为了规避赋役﹐把产业转移到他州外郡﹐成为寄住户﹑寄庄户﹐也是客户的一部分。因此﹐唐中叶以前﹐土﹑客(或主﹑客)之间﹐仍然主要是户籍和地域上的区别。
建中元年 (780)
两税法颁布﹐规定“户无土(亦作‘主’)客﹐以见(现)居为簿﹔人无丁中﹐以贫富为差”﹐土户(或主户)﹑客户的含义又增加了一层新的内容。不论原先是土户还是客户﹐只要拥有资产，均成两税户﹐列入现居地的正式户籍﹐而雇农﹑佃农等客户﹐因为没有资产﹐不是两税户﹐则不列入国家正式户籍。自此以后﹐列于正式户籍的两税户通常只称主户﹐不再与土户通称。这种作为两税户的主户﹐虽包括地主﹑自耕农﹑半自耕农﹐并非一个阶级﹐但均属“有产者”﹔而作为雇农﹑佃农的客户﹐则明显地属于被剥削﹑被压迫的阶级。经过唐末﹑五代﹐到宋代主户与客户的区别﹐成为地主及自耕农与佃农的区别。那种仅限于地域﹑籍贯不同的土﹑客户虽仍在习惯中保留﹐但在史籍记载中土客含义已经发生了很深刻的变化。