佐贺藩的足轻百武庭藏的第五子。三哥天皇侍从长、海军大将
百武三郎，六弟陆军中将，第17军司令
百武晴吉。少年时代的志向是当个农场主，不过他在海军学校学习的四哥百武幸治病死后，他继承幸治的遗志当了海军。经过佐贺初中，海军补习学校，1902年12月
江田岛海军兵学校30期首席毕业。是30期唯一后来晋升的大将的人物。
结束远洋航海实习后，1903年自9月到「三笠」乘组，担任主炮观测员。翌年3月
加藤宽治少佐担任三笠炮术长，1904年8月10日的黄海海战中，三笠主炮的一发炮弹阴差阳错的炸死了俄国太平洋舰队的司令维佐弗特少将，决定了这场海战的胜败，百武源吾对加藤精准的炮术大为赞叹。两人从此成为好朋友。
10月改乘韩崎丸号，12月改乘
富士级战列舰 ，参加了
对马海战。战后担任千代田号、香取号、富士号分队长，磐城号航海长提高了本领。1907年炮术学校特修，1908年海军大学乙种学习，1911年时海军大学甲种，大尉时代一边工作一边在学校接受教育。
1913年时兼任了军令部参谋、教育本部第2成员。1915年起留学美国两年。详细研究了美国的国情，发现海军以美国为假想敌是个鲁莽的主张，坚定了推进对美协调线路的决心。回国担任海军大学教官的时候，对学生讲述了对美协调的重要性，不过，血气方钢的学生不愿接受，反而说：百武教官是个恐美主义者。
1921年第一次担任舰长工作，担任
多摩号轻巡洋舰大佐舰长。在英国的爱德华王太子的访日的时候，担任天皇的座舰，在下关停泊中，和运炭船剧烈碰撞，导致运煤船沉没，经过军事法庭审查无罪，「多摩」舰长时代对百武来说是个动荡的时期。他在任期中生的第七个女儿命名为「多摩子」。他的亲哥哥百武三郎少将是他的直属的上司的第3战队司令官。从那以后，兄弟不在同一个部队就成为日本海军的新规定。
以后历任春日号舰长、教育局第1科长、军令部参谋，1925年担任国际联盟裁军会议海军代表，主张对外协调线路。回国后担任海军大学教导主任，向学生们宣扬裁军和和平共处。可是另一方面，军令部上层和陆军，常常对协调外交进行排斥。
1927年时就任军令部第1班长，百武这时出现乖僻的个性，毁掉了他的前程。他本来和加藤宽治是朋友，但是再次相见了的时候却怨恨加藤没有提他是中弹观测员的事，喝了酒以后在部下面前辱骂加藤薄情。本来打算让他当军令部次长的，因为这个事就泡汤了。济南事变时他出头要求陆军立即从济南撤兵，和当时参谋本部作战部长
荒木贞夫吵了起来。
满洲事变时源吉是军令部次长，又冲到关东军那儿去，结果被关东军司令官
本庄繁拒绝见面，吃了碗闭门羹。
1929年作为第5战队司令官离开军令部，1931年10月因为侵犯统帅权问题，
末次信正被免职，百武就任了军令部次长。当时的军令部长也由加藤宽治换成
谷口尚真大将,不过，谷口与百武在军令内部评价不好。作为条约派军官他们两人在第二年2月一起被解职。舰队派的总后台
伏见宫博恭王元帅成了海军军令部总长。
以后的百武，在1932年2月任海军大学校长，10月练习舰队司令官，1933年9月舞鹤要港部司令官，1934年11月成为第3舰队司令长官，1935年12月佐世保镇守府司令长官，1936年3月舰政本部长，尽当些与海军省和军令部无关的工作。作为练习舰队司令官访问美国的时候作为亲美派的提督在各地接受了欢迎。一方作为长官他有许多史无前例的举动，让幕僚很困惑。
1936年2月担任横须贺镇守府司令长官，1937年4月晋升大将，转任军事参议官，在1941年的陆海军军参议官中只有他一人反对开战，坚持对美协调。从序位来看他担任军令部总长的可能性很高，为了阻止他专门把身体不好的
永野修身抬出来压制他，第二年7月就把他编入预备役，从海军放逐出去。
被赶出海军的百武在信浓河边的鱼村隐居，过着悠闲自得的生活，1945年4月九州帝国大学工程系为逃避征兵，当算外聘一名有影响力军人当校长，他被
野村吉三郎说服，担当了这个职务，和西部军区谈判，把被征兵的大学生都弄回学校搞军训，避免了这些学生上战场送死，日本投降后他才辞去这个职务。1976年死去，是海兵学校30届生186名最后死去的。