字林西报大楼于1923年竣工（1951年改名为桂林大楼），曾是当年外滩最高的大楼。《字林西报》的前身是创刊于1850年8月30日的英文《
北华捷报》，为中国境内第一份新闻报纸，创办人是英国来沪的拍卖商奚尔门。1864年正式出版《字林西报》，英文名认为《北华日报》（《North China Daily News》），而原来的《北华捷报》则成了附属于《字林西报》的周刊。1870年1月，两报合并。《字林西报》早期的报社在新开河，后迁到花园弄（今南京东路江西中东路）在迁汉口路，一度至九江路。1901年报社才在外滩17号址建房办公。这块地皮为上海大地产商马立师所有。马立师以低价折为字林西报的股金，站报社全部股份的47%，从而担任了报社拥有管理权的董事长，全面控制了报社。1921年马立师又动脑筋建造房屋，建立大楼，由
德和洋行设计，美商茂生洋行承建，1923年6月完工。1924年2月16日举行竣工大典时，英国驻沪公使也特地来沪参加。
大楼建成后，字林西报社只用1，5，6层，其余都出租给几家保险公司，如1920年英国商人史丹开办的美亚保险公司、1930年英商史密斯开办的四海保险公司等，但大楼最主要的租户则是1921年开业的美国友邦保险公司，它当时的规模已经较大。1930年友邦人寿保险公司储蓄部改组为友邦银行，也设在大楼里。太平洋战争后，《字林西报》为日军报道部接受。抗战胜利后，《字林西报》复刊。大楼的大部分楼层仍租给友邦等保险公司。
上海解放后，由于对人民政府管理下的新上海有不少不真实的报道和谣传，受到军管会警告，于1951年3月31日停刊。大楼被接管后，为内河航运局等单位使用，改名桂林大楼。1957年交由市房地局管理后，租给中国丝绸公司上海分公司、香港中国旅行社驻沪办事处等单位。各单位在使用中，对内部有所改动。1996年外滩房屋置换中，美国友邦保险有限公司上海分公司在半个世纪以后又重返中山东路17号，1998年正式开张，大楼也因此易名为友邦大楼。
1923年 ，字林西报大楼竣工时，高8层，连地下室、夹层和顶上的两个亭子，可算是11层，曾是当年外滩最高的大楼。大楼占地面积为1043平方米，建筑面积9043平方米，分前后两部分，前部8层，总高40.2米。一大门为主线，两面堆成，正立面中部（即3至7层）饰以古典柱式和
文艺复兴时期的浮雕。进门曾有两座石雕女神像，系意大利雕塑家所作，可惜在文革中被砸毁。底层外墙面用花岗石砌筑，1200吨花岗石料系专程从日本东京附近的产地运来。内部地坪大部分铺白色大理石，内墙面则多为黑色大理石镶金色马赛克，平顶用石膏拓花。上面各层则为水泥粉刷。3至7层的窗为排列齐整的长方形窗格。8层两面窗洞为券式，中间为双柱，有内阳台。屋檐下有8个裸体人物雕塑支撑檐口。顶部南北亭子（亦称塔楼）为
巴洛克式。大门入口处有多立克式柱及大理石门额。