上尾是中山道的
宿场之一。相对于中山道其他
宿场，上尾宿是较小的一个。
1883年（明治16年），日本第三条铁路——日本铁道（
高崎线）于上尾宿设站，以协助推进上尾町的发展。由于当时的中山道位于车站东边，因此开业时车站指设有向东边的出口。
至
1960年（
昭和35年），
车站平均每日有13,996人使用。当时，车站西边也开始发展。为方便居民来往东西两边，市政府在车站北边架设宏荣桥，并于
1971年（
昭和46年）9月落成启用。同时，车站站房于
1967年（
昭和42年）开始重建工程，改建为跨站式站房。
1968年（
昭和43年），车站的东西口开放通道落成启用。同年
6月10日，新站房正式启用。
1973年（
昭和48年），
日本国有铁道（日本国铁）出现
劳资争议，
工会因而发动会员
按章工作令列车大幅度延误。列车延误在加上列车满载（上尾站乘客不能上车）、列车缩短行车（终点站自
上野改为大宫），令在场过万名乘客爆发暴动，追打在场的日本国铁职员、破坏列车及车站设施。在场控制秩序的70名警员无力控制场面，警方需要加派700名机动部队成员才能稳住局面。事件导致
高崎线一直停驶至傍晚时分，并引起后来一连串的乘客暴动（日本首都圈国铁乘客暴动）。日本称此事件为“上尾事件”。
国铁分割民营化后，JR东日本在傍晚繁忙时间增设较少停车站的快速“市镇”（タウン）号班次（现时通勤快速班次的前身），不停上尾站。因此，
上尾市和附近的
桶川市（“市镇”号亦不停该市的
桶川站）一直要求JR东日本增设停靠市内车站的班次。而JR东日本最终于2004年（平成16年）
10月16日订正时间表时将其中两班下行通勤快速列车增加停靠上尾站和桶川站。