五仙的传说源于中国民间。“五羊衔谷，萃于楚庭”，楚庭即广州，广州一带连年灾荒，田野荒芜，惊动了南海的五位仙人，五位仙人骑着五色羊降临到
广州，将谷穗赐予勤劳的人们，祝福百姓
安居乐业的故事。为了纪念他们，后人在他们降临的地方修了五仙观。
民间传说：公元前860年西周时期，
广州一带连年灾荒，民不聊生。饥饿孩子的哭声，大人们的喊声，飘到九霄云层，惊动了南海的五位仙人。五位仙人身穿五色彩衣，分别骑着五色仙羊，手持一茎六出的谷穗，降临到这座城市。他们将谷穗赐予勤劳的人们，祝福百姓安居乐业，此地永无饥荒。五位仙人走后，而那五只依恋人间的仙羊，却化为石头留在广州。
在广州沙河以北兴华街今广从公路有个五仙桥车站，车站西北半山坡上曾经有一座桥，由五块青石板连接而成，传说这就是当年五仙下凡逗留的地方。当年五位仙人首先降临在这里，遇到溪水拦路，仙人各自将手巾一抛，变成一道石桥，仙人们骑着羊就从桥上走过去，一直走进广州城里。后来人们为纪念五仙就称此桥为“五仙桥”。此桥在上世纪70年代是因溪水干枯而湮没了。
仙人们降临此地，看到有一座山岭，形状如同一朵白云，就把这山称做“白云山”。白云山前另有一山岭，形似一只趴着的瘦狗，头、尾、身、脚，活灵活现。如果站在白云山上眺望，这只狗更是瘦骨嶙峋，连那一条条肋骨都数得出来，众仙就叫它“瘦狗岭”。
神仙们在山前闲坐谈天，突然聊到：“是白云山重还是瘦狗岭重呢？”众仙争论不已，最后找一座天平来称，结果称出瘦狗岭比白云山重。后来人们便把放天平的地方叫做“天平架”。
著名地理学家
曾昭璇考证，晋代，如今的惠福西路五仙观前是珠江边的一个渡口。民间传说五仙观前有一仙人大脚印，学者考证，那实际是江水淘蚀形成的凹穴。
五羊衔谷的神话故事源于裴渊《
广州记》，广州大概在唐以后就有羊城、穗城、仙城等别称。仅就我们所见到的材料来说，“五羊”和“楚庭”一词见于最早的古籍记载是裴渊《广州记》。这段晋人的记述材料，有两点值得注意：一是楚庭为楚的宫室或官署或市亭，地点是楚的城市而不是在广州。这一点很重要，因为在以后的史志中记述到楚庭时，愈说愈玄，牵强附会，原因就是离开了这个根本点而望文生义一番。晋时广州的州治在番禺（即今广州市），治所的梁架上画有五羊图，悬挂五谷囊。为什么要画五羊图？裴渊引用了当时人们对古老传说的记述：从前高固（按清人梁廷枏《百越先贤志》说他是越人）为楚相（令尹）时，出现过五羊衔谷聚集到楚庭的事。因为战国时广州属楚，所以把这农牧丰收的祥瑞象征也画在州厅的梁上。高固既然是楚相，必然在楚，他不可能身居岭南越地而为楚相的。换言之，五羊聚于楚庭是出现在高固为楚相的时候，因此，这个楚庭所在地就只能是楚的都城内或楚的某一城邑之中。照文义来说，它就是高固的令尹府衙亦无不可，根本与广州无涉。二是五羊衔谷的神话虽然成了广州历史文化悠久的一个象征，又是妇孺皆知、脍炙人口的一个美好传说。但故事的发生据载最先在楚而不在广州。
《太平御览》引沈怀远《南越志》说：“任嚣、尉佗之时因楚时有羊五色以为瑞，因图之于府厅矣”。可见直到五世纪中叶，五羊的神话传说仍与《广州记》所载基本相同。唐李群玉《登蒲涧寺后二岩》诗有“五仙骑五羊，何代降斯乡”之句（见《全唐诗录》卷84），大概到唐以后不但把五羊衔谷故事的发生地点移到广州，还加了个五仙进去。以后，随着这个神话传说的建祠立祀（北宋时建五仙观），广州的古之“楚庭”一名就逐渐让位于“羊城”这个别称了。《广州记》这段有关楚庭，五羊的记述，本身也是传闻，没有文献与史实可供征信的。
楚庭通常被认为是广州建城之始，顾祖禹《
读史方舆纪要》广州城条引唐《通历》：“楚伐杨越，自是南海事楚，有楚亭。”楚子熊渠伐杨越事见《史记·楚世家》：“周夷王时，熊渠兴兵伐庸、杨越，至于鄂地（今湖北武昌县东的鄂城县）。”他的足迹还未越过荆州。直言之，周夷王进（公元前九世纪）楚的势力还未到达今湖南境。至于“杨越”一词，古籍中往往是泛指百越之地。如《史记·南越列传》的“略定杨越”。古属杨州，所谓“扬州之南，越地也”；又如《史记·货殖列传》“而杨越多焉”。这泛指百越之民。还有“南海”一词，也是对南方各族居地的泛称。《国语·楚语上》有“抚征南海”一句，这个南海指的是江南地。又如《左传·僖四年》：齐伐楚，“楚子使与师言曰：‘君处北海，寡人处南海，风马牛不相及也’”。这个“南海”是指我国江南的广大区域而言，因此，“伐杨越”事无论从时间、地点、人物活动的内容来说，都与岭南的南越毫无相干。《通历》的原文我们未得见，仅就引文而论，也不能证明“南海事楚”的“南海”指的就是广州。顾祖禹把它写入广州城条内，以致将广州城市的兴起提早到西周时期，楚庭成了广州最早出现的城市的名字，这是前人在地理概念上的模糊而产生的误解。