张遂谋广西平南人，生而近视，人恒呼曰张瞎子。与金田团营，从征至天京，甲寅四年为殿左廿九检点，守安徽舒城县。乙荣岁，从翼王西征湖北，是岁末，复从入赣，积功，丙辰六年春，升春官正丞相，丙辰六年五月，随翼王自江西援天京，六月，大破清江南大营于城外，天京围解。东王旋令翼王督师上援湖北，而遂谋与焉。遂谋深沉多谋，翼王倚为腹心，位仅在参天侯黄玉琨、卫天侯曾锦谦下。

七月，天京变起，东王死，翼王时方在湖北鲁家巷，与湘军相持，闻变亟退兵，身率遂谋、锦谦二人轻骑兼程入京调停。北王既戕东王，骄恣残虐，任情诛杀，翼王面责之，北王惭怒，欲相图害，翼王、遂谋、锦谦缒城走安庆，翼王阖府为所屠。

翼王兴师靖难，天王诛北王，送首翼王军前，召辅政。十月，翼王偕遂谋入京，以圣神电通军主将衔辅政，如东王故事。内外皆欢悦，而天王浸忌之，封其二兄安王、福王以相钳制。翼王惧祸，丁巳七年四月廿五日，藉故出城，迳赴安庆，自是不复还，而遂谋从焉。八月廿八日，复从渡江入赣。时锦谦已故，黄玉琨督师江西，未几战死，翼王麾下诸将，以遂谋位最尊。

戊午八年春，翼王决策入浙，部分麾下为五旗，以遂谋将中旗，封先天燕，行动皆与俱。从翼王围衢州，入闽，秋，旋师江西，部分五路，遂谋与翼殿承宣刘逸才共将一路，未几，复归翼王大队，己未九年春，入湖南，四月，进围宝庆府，攻三阅月而不能克，七月，解围南趋，九月初四日，克广西庆远府。

翼王开府城中，因诸将之请，量设官爵以酬庸，封遂谋元宰，位诸将上，翼王之下，一人而已。

广西贫瘠，粮秣为艰，将士枵腹，渐生嗟怨。诸将之从翼王远征也，虽慕义而为，中心不能无从龙之望，而翼王奉天京正朔不改，多失意，有离心，遂谋独矢志不移，有言降清及北归者辄叱之。

庚申十年二月，翼王麾下武卫军欲散，遂谋知而怒，计诱其主将宰辅蔡次贤戮之，武卫军大哗而走，未几，或降或散，遂谋不能遏。

四月，翼王弃庆远，遂谋自是不知所终，盖物故也。自后翼殿无元宰，或曰，癸开十三年，尝有元宰李辅从李复遒走贵州，然宰辅位尊，不当为复遒之副；李辅无名，以翼王用人之明，何得膺此重位？此说迨不可信。

有好事者言遂谋变服入川，投清四川总督骆秉章麾下，后献策擒翼王，而秉章是时，尚未入川，遂谋名著，清吏安敢不奏而擅收用？小说家言，未足征也。

翼王麾下尚有光天燕张遂儒者，尝随翼王自闽入赣，复进围宝庆，自后不知所之，或曰，此遂谋兄弟行，或曰盖清吏及文人鲁鱼亥豕之谬，光天燕即先天燕，遂儒即遂谋也。

2000年电视剧《太平天国》宋来运饰演张遂谋