相传很久以前该地分别有两座寺庙，一座为藏传佛教的黄教寺庙，一座为林芝原生苯教寺庙。因佛苯教派之争，苯教僧人将黄教主持禁锢起来，并将活活剥了皮，因此该地得名 “秀巴”。 秀巴古堡群占地面积约10公顷，原有7座古堡，据说是按照北斗七星阵排列的，两座因长期受风雨侵蚀而倒塌，现存高低不同的5个堡垒，有3座已非常危险，急待整修。古堡群建筑雄伟高大，气势磅礴，堡垒之间相隔30至50米，古堡由片石和木板砌成，中空，无顶，外观呈十二面十二棱柱状体，分九层，这既与内地传统建筑的“天圆地方”之说相吻合，又与西藏传统建筑风格相一致。古堡内为八角形，墙体厚约两米，嵌有木板，可攀登至堡顶。古堡历经千年依然耸立云天，十分牢固，充分展示了古代藏民族精湛的建筑工艺，即使当代建筑专家也叹为观止。关于古堡的修建年代及其用途至今众说纷纭，无法断定，成为一个难以解开的千年建筑之谜
秀巴千年古堡群由5个高低不同的堡垒组成，间距大约为30至50米，各个堡垒相互呼应，互为犄角。令人难以置信的是，整个古堡竟是由片石和木板搭建而成，内部小空，上不封顶，外观呈现出12面12棱柱的几何状体，内为规则的八角形。堡垒墙体厚约2米，非常坚固，内侧则嵌有木板，可供防守一方登顶攻击。古堡顶层设有了望孔，可随时观察方圆数十里敌军的一举一动；而防御时亦可向来犯敌人射箭，有效地时杀对方。堡顶还可燃放狼烟，向远处友军传递资讯，请求增援。
另外，古堡周围也经过一番精心布置，以石砌房屋环绕，高低互为策应，形成了一个易守难攻的防守体系，可谓固若金汤。古堡历经千年风雨，依然雄伟挺拔，异常牢固， 真实展现了一千多年前藏民族精湛的建筑工艺。一批现代理筑专家、军事专家在观看古堡的雄姿之后，也对其精湛的工艺啧啧称奇，认为在当时的条件下完成如此治大工程，完全是一个奇迹。
围绕古堡还有许多神奇的故事，至今在当地藏族百姓中还流传有
格萨尔王于秀巴村征服妖魔的传说。在当地藏族百姓的传说中，秀巴村一带是格萨尔王征服妖魔的第一个战场。因为古堡是钦巴哪波妖魔居住的堡垒，妖魔居高临下，占据了有利地形，而格萨尔王的部队无所屏蔽，苦战三年都没有攻下古堡。
后来格萨尔王在睡梦中得到神佛指点：妖魔在黎明时分法力最弱，此时用弓箭攻打必定成功。于是格萨尔王派遣得力干将率领一支由神箭手组成的队伍，在夜色的掩护下悄悄登上秀巴村对面的山顶，天刚破晓，一支支利箭射向古堡，妖魔猝不及防，待要施展法力，可惜败局已定，只得束手就擒。至今，秀巴村山顶巨石上仍留有箭痕。
也有传说秀巴千年古堡是1000多年前
松赞干布在征战中，为方便军队之间的联络以及屯兵和防御，修筑了具有统治标志的古堡群。