《寰宇记》牛渚山突出江中，谓之牛渚圻，山北谓之采石，对采石渡口，商旅于此取石，至都轮造石渚，故名。《舆地志》温峤平苏峻乱。至
牛渚矶，人云以下多怪物，峤烯犀照之，奇形异状毕见，有
燃犀亭在其上，相传李白骑鲸亦在此，谪仙楼、捉月亭。所由建也，隋置赭圻镇，唐贞观初于此置戍。
牛渚山又名牛渚圻。在安徽当涂县西北二十里，一名采石，后汉兴平二年，孙策渡江攻刘繇看法渚营，尽得邸合粮谷战具，后孙权使周瑜自溧阳移兵屯牛渚，自是以后，常为重镇，晋咸宁五年，王浑驻师取吴，梁太清二年，候景渡江趣
建康，隋开皇九年，
韩擒虎宵济破陈，宋开宝七年，
曹彬渡江取南唐。绍兴三十一年，
虞允文邀击
金师，明初
常遇春先登破元兵，皆在此。
《太平御览》卷四六引《舆地志》：“牛渚山首有人潜行，云此处连洞庭，傍达无底，见有金牛状，乃惊怪而出。牛渚山北谓之采石，按今对采石渡口上有谢将军祠。”《元和郡县志.江南道》：“牛渚山，在县（当涂）北三十五里，山突出江中，谓之掉渚圻，津渡处也。始皇二十七年，东巡会稽，道由
丹阳至钱塘，即从此渡也。晋左卫将军谢尚镇于此。
温峤至牛渚，燃犀照渚灵怪，亦在于此。”唐杜牧《和州绝句》：“江湖醉度十年春，牛渚山边六问津。”宋王安石《牛渚》诗：“历阳之南有牛渚，一风微吹万舟阻。”宋黄庭坚《康寅乙末犹泊大雷口》诗：“冶城谢公墩，牛渚荡子妇。”