帝欲置于相位（自御史大夫贡禹卒及薛广德免，辄欲拜霸），霸再三辞让而罢。
谥号“烈君”。
《
资治通鉴》对于孔霸的评价是“霸为人谦退，不好权势”，孔霸既然教的是《尚书》那么肯定是孔门弟子而不会是修黄老之学的，对于儒生来说成为丞相、御史大夫而名列三公、位极人臣一定是人生最高的追求。
儿子：孔光（前64年-公元5年）：字子夏，自幼随父孔霸徙居长安，通经学，年未二十即举为议郎。后举方正，入朝任谏大夫。
汉成帝即位，举为博士，迁大将军，拜相，封博山侯。汉哀帝
刘欣即位，封为千户。
汉平帝即位，拜太傅、拜太师，称病辞职。卒谥简烈侯。