张霸从小知道孝顺和谦让，即使出入饮食，都合乎礼节，乡亲称为“张
曾子”。七岁，张霸通晓《春秋》，还想进修其他儒家经书，父母说“你年纪小，不能学那么多”，张霸说“我饶为之”，所以取字“伯饶”。后来，跟长水校尉
樊鲦学习《严氏公羊春秋》，博览《五经》。当时青年人孙林、
刘固、段著等羡慕他，各人在张霸住室旁边买房子住下，以便向其学习。张霸举孝廉出身，担任
光禄寺主事。
永元年间，张霸做了会稽太守，上表推荐
处士顾奉、公孙松等。顾奉后来做了颍川太守，公孙松做了
司隶校尉，都很著名。其余有专业特长的，都被提拔录用。从此，郡中人民争相磨砺志节，学习经书的上千数人，道路上都听见诵读声。
张霸认为，
樊鲦删改《严氏春秋》还有许多繁辞，又减定为二十万字，改名“张氏学”。张霸开始到越州，贼人尚未解除，郡界不安宁，张霸便发布公文，明用信实，贼人就束手归附，不烦士卒之力。童谣说：“弃我戈，捐我矛，盗贼尽，吏皆休。”张霸视事三年，对说：“太守从孤儿出身，做到了郡守。大凡太阳正中就倾斜，月亮满后就亏损。老子有句话：‘知足不辱’。”于是上书请病假。后来又被征用，四次升迁，做到
侍中。
年纪到了应当
休养时，张霸生病而死，享年七十。临终前，写下遗书，告诉儿子“：从前，
延陵季子出使齐国，儿子死在泰山郡的
赢县、
博县之间，就地埋葬在坎坷的路侧。现在，蜀道阻远，不宜运归乡里，可埋在此处，够掩埋头发牙齿就够了。务必遵照速朽的原则，体现我的心愿。人生一世，应当受别人畏敬，如果不好好安排自己，简直自作自受”。儿子们遵照父命，安葬于河南
梁县，并且安家。将作大匠
翟酺等与诸儒门人追录张霸的生平行事，私下谥号“宪文”。
张霸在师傅
樊鯈的基础上，将《严氏春秋》删减为二十万言，人称为“张氏学”。
成语“不识时务”出自《后汉书 张霸传》：
邓皇后之兄虎贲中郎将
邓骘，是当朝贵盛，听到张霸的名气，想与他交朋友。张霸犹豫不作回答，众人以为
不识时务。