晋孝武帝即位时，妖贼卢竦入宫，桓秘与左卫将军
殷康入击卢竦。桓温调查此事时，却将桓秘免官，令其闲居于宛陵，因此桓秘常怀不平之心。桓温病危时，桓秘伙同桓温之子
桓熙、桓济合谋打算趁桓氏家族探望桓温的时候对付弟弟
桓冲。桓冲密知此事，不敢往视桓温。不久，桓温逝世。桓冲先派人擒住桓熙、桓济，然后出席丧礼。此事过后，桓秘更遭家族唾弃，被置于桓温墓所附近赋居。从此，桓秘无心政事，放志田园，以山水为乐。最后比桓冲更早逝世。
桓秘与兄弟关系不睦，除了不被兄长
桓温重用外，亦与弟弟
桓冲势成水火。当桓秘因事被逐于山林后，朝廷曾打算再征桓秘为散骑常侍，桓秘却三度上书陈情推却。这是因为桓秘一向轻视弟弟桓冲，桓冲代桓温掌权后，桓秘更耻于担任职位卑微的常侍。可见其人计较名位得失。
桓秘文采不俗，曾与
谢安、
习凿齿等人有书信往来，亦有诗作十首传世，辞理均有可观之处。习凿齿有《与桓秘书》留世。
桓秘，字穆子。少有才气，不伦于俗。初拜
秘书郎，兄温抑而不用。久之，为
辅国将军、宣城内史。时梁州刺史
司马勋叛入蜀，秘以本官监梁益二州征讨军事、
假节。勋平，还郡。后为散骑常侍，徙
中领军。孝武帝初即位，妖贼卢竦入宫，秘与左卫将军殷康俱入击之。温入朝，窃考竦事，收尚书陆始等，罹罪者甚众。秘亦免官，居于宛陵，每愤愤有不平之色。温疾笃，秘与温子熙、济等谋共废冲。冲密知之，不敢入。顷温气绝，先遣力士拘录熙、济，而后临丧。秘于是废弃，遂居于墓所，放志田园，好游山水。后起为
散骑常侍，凡三表自陈。诏曰：“秘受遇先朝。是以延之。而频有让表，以栖尚告诚，兼有疾疢，省用增叹。可顺其所执。”秘素轻冲，冲时贵盛，秘耻常侍位卑，故不应朝命，与
谢安书及诗十首，辞理可观，其文多引简文帝之眄遇。先冲卒。长子蔚，官至散骑常侍、
游击将军。玄篡，以为醴陵王。