白云观，初名“仙人庐”，史云“始于昆仑，源自泗流，奇峰异颠，逶迤曲折，地连吴头楚尾，旷无人烟，为古扬州地界……”始建于晋永熙年间，因当时除
真武殿为木石结构的建筑外其余皆是茅庐。唐时因受
李唐皇族尊崇而全盛。
当时殿宇林立，道侣云集。一时成为鄂东南道教界影响最大的宫观。及至残唐五代时有名道刘五
刘六兄弟在次修炼得道而改命仙人台至今，刘五刘六时为后晋主
石重贵之部将，因
石重贵不愿象父王石敬塘一样对
契丹人耶律德光（时为
辽太宗）称儿臣引起耶不满而大举挥兵进犯，石委派二刘领兵抗击，由于兵力悬殊、国力空虚而大败。后晋随之易主，二刘看破红尘遂遍寻名山修道，先奔
武当山后赴仙人台并在此
苦修终成正道。宋时在对面香炉峰附近又陆续建起几处佛教寺庙，形成佛道并存的格局，有“三千和尚八百道”之称。
时有乡人刘某不详生卒年代，传其曾于
君山遇得八仙之一的吕组纯阳（
吕洞宾），并随其习灵龟吞吐之法而勤修不辍也位列仙班。刘及弟子们感激涕淋，在仙人台兴建吕祖观一座（史称新观，现不存。该观址现为仙人台茶场办公室），使仙人台白云观在鄂东南
宗教领域内的主要地位更加巩固。
南宋
咸淳三年（1267年）蒙古人四犯
蕲州，南宋太学生
段朝立（湖北罗田
东河人，今属
英山。）即聚众前往地形险要、山势高峻的仙人台，在此屯兵甲、立栅堡，抗击蒙古人。白云观成了义军的据点。段朝立在跑马岗操演兵马,故此地也有军山之说.受战争影响，仙人台白云观损坏惨重。
白云观，宗教活动几乎停止。元代由于
民族矛盾极其尖锐，仙人台白云观其名己鲜见于史料，仅从传世的白云观志稍有记载。大明朝建立后，朱氏崇道日盛，明
正统十年（1445）
荆王朱瞻堈（
明仁宗朱高炽第六子，
朱元璋曾孙）置真武行宫于仙人台，使仙人台的香火日盛，名播九州。时有高道汪守真(陕西人)于仙人台白云观侧之道人沟的
道人洞得道白日飞升.汪致力于
仙人台白云观的建设与发展，开坛演教，弘扬道法，收集散佚的道教经籍，为仙人台乃至
蕲春道教界作出了无量功德。满清王朝时受崇佛抑道的宗教政策影响，仙人台白云观复又出现佛道并存的格局。
康熙四十年，仙人台白云观经过一次大规模的改扩建，现存真武石殿即为当时改建项目之一，石殿北面也建起
三清殿等数处殿宇。
乾隆四十八年又经过一次重修。