长江此处有如月弓形地带，因为地当其冲，长江水流回旋湍急，长期冲洗着山身，形成山坡石壁，宛如参差玉笋，光滑无痕，而且犬牙交错，利于鱼类栖息，更是
石首河段中的特产鮰鮕（又名长吻鮠），生息繁衍的地方。久而久之，这里便成为石首一景，宋代大诗人
黄庭坚曾慕名来游，写下了“山转江回万石湾，春风二月起波澜，旋涡凝写因生怒，碍石船流岂假安，万里欲流沧海大，一杯先补洞庭宽，冯夷奋建曾居此，借与图经试验看”的诗篇。
其实人们是根据其山石嶙峋的特征，叫它为万石湾。但对于万石湾的形成，至今流传着两个不同的故事。相传
唐代八大仙人溯江而上，来到楚望山停歇。他们看到山在水中，四周环水，百姓上山砍樵、种植，香客上山祈祷，极不方便，传听常有人涉水上山，被水流冲走。于是，他们站在石首山顶，各捡起一块石头，往山下水流处抛去，可不一会儿，长出了一条堤埂，使石首山与隔峡相峙的砚盘山（即现在水厂处）连结了起来，堵死了峡口，导水回旋，成了大回湾，即万石湾。从此楚望山（即东岳、
绣林、石首三个山峰）成了绣林古城傍江而立的北部屏幛，峡流地带被挽入城区，成为居民居住的地方，尤其是解除了江流直冲的威胁，使内陆九湖和广袤田野，得以减少洪涝的无穷之患。绣林地区的人们，一提起万石湾的筑成，无不啧啧赞颂八大仙人。这便是“万石湾”的第一种传说。
第二种传说是说在
宋朝时期，石首来了一位姓谢的县令，这位县令很有一点为民造福的思想，他到任不久，看到巍峨的楚望山立于江中，不仅老百姓到山上种植、采药，或垂吊昭烈夫人等不方便，尤其是南北隔出一条峡谷，每当汛期，江水滔滔流过，给百姓带来无穷灾害，他即决定筑一道城墙般的挡水堤，把石首山与砚盘山连接起来。后来他征集民工，在枯水季节移山填峡，终于修成了挡水堤，使峡谷变成了平地，流水被挡转去，回旋入江，此处成为月弓形的回湾，因堤是山石叠成，人们就叫这里做“万石湾”。后来人们在万石湾前立了一块碑，碑上刻下“万石壁垒，永固千秋”八个大字，并留下“万里岷江拍岸冲，横摧笑傲任从容”的诗句。