段彦谟家世不详，《
旧唐书》《
新唐书》均无他的传。
唐僖宗初年，他作为
泰宁都将参与对
黄巢的大规模农民变军作战。
879年，朝廷命他取代江西招讨使
曹全晸。当时，曹全晸刚和
山南东道节度使刘巨容大败黄巢，正在追击。朝廷让段彦谟取代曹全晸使曹停止了追击，黄巢及其主将尚让得以逃脱。
刘巨容击败黄巢后回师山南东道，而前宰相诸道行营
都统兼
荆南节度使王铎早在曹、刘击败黄巢前都逃跑了，荆南节度使空缺，无人管领。荆南监军宦官
杨复光让忠武镇别将
宋浩在朝廷任命前代领荆南，随后朝廷也批准了。段彦谟自认为高于宋浩，因此怨恨。880年，宋浩下令士兵不许砍伐首府
江陵街上的树木，段彦谟的一些士兵却违反了这一规定，宋浩鞭打了他们的背，段、宋矛盾终于激化。段彦谟认为宋浩是在侮辱自己，杀入宋浩大营，杀宋浩及其二子。杨复光又上表称宋浩太残酷，所以被杀。据《新唐书》杨复光的传记载，杨因宋浩同样不敬自己，对段彦谟的行为予以鼓励。僖宗敕段彦谟为
朗州刺史，
工部侍郎郑绍业为新任节度使。段彦谟显然无意去朗州赴任，而郑绍业害怕控制荆南的段彦谟，也不去赴任，拖延半年之久。随后，
881年初，黄巢攻占京城
长安，僖宗被迫逃往
成都，召回郑绍业，任段彦谟为荆南节度使。
段彦谟和新任监军宦官朱敬玫很快发展成敌对关系。朱敬玫招募三千精兵号为
忠勇军，亲自统辖。段彦谟生气了，决定杀掉朱。但882年夏，朱敬玫先发制人，攻杀段彦谟，以江陵少尹李燧为
留后。僖宗再次任郑绍业为荆南节度使，但郑犹豫着没去荆南赴任，朱敬玫让押牙陈儒领荆南事。