奥林匹亚队成立于1949年来取代原先的印第安那波利斯喷气机队。球队由肯塔基大学的爱列克斯·葛罗加(Alex Groza)和拉尔夫·贝尔德领衔，这两位也是
1948年伦敦奥运会美国队夺得金牌的主力球队。这届奥运会美国队另两位成员华莱士·琼斯(Wallace Jones)和克里夫·巴克(Cliff Barker)(两人都同为肯塔基大学毕业)，也在印第安那波利斯奥林匹亚队阵中。
奥林匹亚队在NBA四个赛季总共取得了132胜137负的战绩。在1951赛季后葛罗加和贝尔德由于深陷让分丑闻而被NBA执行官马里恩·波多罗夫处以终生禁赛处罚。导致奥林匹亚队在1953赛季只取得了28胜43负的糟糕战绩，并且在这个赛季之后解散。