安政5年8月1日（1858年9月7日），出生于
筑前国福冈（现在的
福冈县福冈市）荒户町，作为福冈
藩士马回役神尾家之丞的四子，乳名驹吉。12岁的时候，成为
福冈藩奉行团尚静的继子。在藩校修猷馆学习。明治4年（1871年），与
金子坚太郎一起作为旧藩主黑田长知的随
岩仓使团同行赴美，在那里留学，得到了一位顶尖教授罗伯特·哈洛威尔·理查兹 （Robert Hallowell Richards） 的指导，毕业于
麻省理工学院矿业工程专业，明治11年（1878年）回国。一起赴美的
金子坚太郎进入
哈佛大学，此后二人的朋友也持续，后来干脆与金子坚太郎的妹妹芳子结婚。回国后，大曾任
大阪专门学校、
东京帝国大学副教授，教授工学和天文学。1884年转入
工部省，成为矿山局副局长，三池矿山局工程师。为了采煤技术再次赴欧洲学习。明治21年（1888年）三池矿山被政府卖给三井以后，就到了三井，就任三井三池煤矿公司事务长，进行了被认为是三大工程的三池港的海港，铁路的施工、大牟田河的疏浚，利用赴欧的时候学会的大型水泵技术，解决了没于水中的竖坑的排水问题。明治26年（1893年）三井矿山合资公司专职理事。1899年被授予工学博士称号。明治42年（1909年）三井矿山会长。这个时候，因为团琢磨的经营手腕，三井矿山的利益超过
三井银行，与
三井物产并肩，三池矿山被称为「三井的手提式保险箱」，1914年接替
益田孝就任三井合股公司理事长，成为
三井财团的最高领导人。在大正6年（1917年）时设立日本工业俱乐部，就任第一代理事长。1921年11月28日，在麻省理工学院向学生和教职员工发表演讲。1922年和
井上准之助建立日本经济联盟会，翌年变成同理事长，1928年同会长，成为名符其实日本经济界、金融界的旗手。同年被授予着
男爵位。1925—1926年率实业团出访
欧美，鼓吹对外经济侵略。1928年受封男爵，次年带领资本家诸团体，反对《劳动组合法案》。1931年
九一八事变后，以其为首的
三井财阀趁政府即将禁止黄金出口而抢购美元，引起风潮，
若槻礼次郎内阁谴责抢购美元为卖国投机，但同年12月为
犬养毅内阁上台后再度禁止黄金出口，财团转眼获得了巨额利润。为此国民对财阀、政府的不信任感倍增，
血盟团则以其为目标，于1932年3 月在三井正楼门前被血盟团团员菱沼五郎刺杀。