廖翠凤是鼓浪屿的首富廖家的二小姐，林语堂与她的兄弟很有交情，应邀去廖家吃饭。席间林语堂觉得有一双眼睛在偷看他（后来廖翠凤说是看他吃几碗饭），接着又发现他远行换下来的脏衣服被廖翠凤拿去洗了。后来廖翠凤上了圣玛丽亚书院，她听说林语堂在圣约翰大学读大二时连续三次上台领奖，大出风头，对林语堂更有了钦佩之情。而当二人拟订终身时，廖翠凤的母亲却有异议，说：“和乐（林语堂的本名）是牧师的儿子，家里很穷。”廖翠凤却坚决果断地说：“贫穷算不了什么。”就是这句话一锤定音，成就了林语堂与她的婚姻。

林语堂妻子廖翠凤，也是他的第三位恋人。林语堂出生于福建漳州城内，童年是在故乡平和县坂仔乡度过的。他母亲义女的女儿，外号叫“橄榄”，喊林语堂为“五舅”。橄榄与五舅年龄相差无几，常在一起玩耍，抓鲦鱼，摸小龙虾。“她蹲在小溪里，蝴蝶落在发梢，缓步徐行，蝴蝶居然没有飞走。”这情景林语堂直到八十岁仍如在眼前。可见自然的爱萌发于细微末节，并非重大事件。橄榄体型瘦弱，长一张瓜子脸，个性倔强，目光忧郁，总像心事重重，平时穿一袭黑衣干活，到星期天换上浅蓝色旗袍，非常迷人。林语堂与橄榄自觉是理想的伴侣，相亲相爱，橄榄向他献出无私的爱心，而不求回报。如此青梅竹马的一对，却被无情地拆开了。当林语堂到上海读圣约翰大学时向她求婚，她未允诺。她不愿随林语堂背井离乡，远走高飞。她的祖父双目失明，随时需要她搀扶、伺候。她认定家乡什么都有，有最好的水果、鱼类、瓜菜和迷人的山水。分手的时候，橄榄站在悬崖上，头顶青天，发丝随风飞舞，那身影定格在林语堂的脑海中。林语堂到了北京后她则嫁给了坂仔乡的一个商人。为此，若干年后林语堂写了一部自传体小说，名为《赖柏英》，赖柏英就是他的第一个恋人橄榄的化身。

林语堂的第二个恋人，是他朋友的妹妹陈锦端。陈锦端是个大美人，林语堂从圣约翰大学回来，常到朋友家小坐，一来二去，爱上了陈锦端，但陈锦端的父亲却看中一个名门阔少。当时子女的婚姻由父母包办，林语堂无可奈何，为此非常痛苦，闷闷不乐，姐妹们都看出来了，半夜里母亲提一盏马灯到林语堂房里，问他有什么心事，林语堂失声大哭，哭得很伤心。

1919年1月9日，林语堂与廖翠凤结婚。那时，他已在清华大学当了三年英文教员，并且准备到美国哈佛大学留学。结婚前的头一天晚上，林语堂请求与母亲同床。小时候，他习惯玩母亲乳房，直到10岁才改掉这个毛病。母子关系一向很亲密，林语堂意识到再也不能同母亲同床睡觉了，想陪伴母亲一夜。次日，林语堂去廖家迎亲，把象征吉祥的龙眼茶喝了，连龙眼也全部吃光。结婚后，父亲送他到上海，他征得廖翠凤的同意，将结婚证书烧掉了，他说“结婚证书只有离婚才用得上”。烧掉结婚证书，表示了他们永远相爱、白头偕老的决心。这对新婚夫妇，在横渡太平洋的轮船上度蜜月。他们成天躲在船舱里，一同赴美留学的清华学子还大开玩笑，殊不知是廖翠凤盲肠炎发作，疼痛难忍，需要照顾。林语堂急得没有办法，想到夏威夷上岸做手术，可廖翠凤带的一千元嫁妆不敢动。因赴美留学，清华只提供单程船票，每个月只40美元的助学金。有廖翠凤的一千元嫁妆垫底，他们才成行的，若割盲肠用光了，到了美国怎么办？后来廖翠凤痛苦减轻，就省下了这笔钱，准备上了岸再治。到了美国，到了哈佛，林语堂找一个天主教医生给廖翠凤看病，检查、做手术，切除了盲肠。接着，林语堂就到哈佛读书了。

在哈佛读了一年，尽管林语堂的每门功课都是甲等成绩，助学金却被留学生总管施赞元停了。林语堂没法再呆下去，恰逢美国的基督教青年会招募华工去法国乐库索城，他只好前往应征。在法国，林语堂用常见的一千字，为中国劳工编了一本教材，教中国劳工学文化。廖翠凤向一位法国女士学习法文，变成了莫逆之交。他们打工储蓄了些美元，这时德国马克贬值，他们便到了德国。林语堂先在歌德的故乡攻读莎士比亚，获得硕士学位，又到莱比锡大学攻读比较语言学。经济困难时，廖翠凤只得变卖首饰以维持生活。林语堂除上博士课程外，还与廖翠凤一起上英文课程，二人宛若兄妹。当时他们住在郊外，房东太太是个寂寞的寡妇，靠啤酒和腌肉过活，成天抽烟。寡妇拿自己写的诗给林语堂看，存心勾引他。有一次林语堂经过她的门口，她突然晕倒，要林语堂扶她起来，林语堂看出她的用意，连忙喊翠凤，寡妇就假装清醒了，二人会意而笑。终其一生，林语堂在操守上也是绝对纯洁的。美色当前，欣赏一番，幽他一默，亦不讳其所好，惟不越雷池一步。有一位与著名乐评家离婚的美国女士问他：“林博士，你们夫妻之间没有‘问题’吗？”林语堂回答说：“没有。”那女士非常惊讶，看出中国婚姻与美国不同。

结婚快四年了，廖翠凤才敢怀孕。由于经费不足，他们不得不决定回国分娩。此时，林语堂正在准备着博士考试。林语堂上学以来，从不把考试当一回事，他的老主意就是只求及格，不临时抱佛脚，所以绝不惊慌；而廖翠凤却胆战心惊，替他着急。

博士论文考试的最后口试，林语堂要从这个教授房间跑到另一个教授房间，轮番答辩，挺着大肚的廖翠凤在外面焦急地等待着，倚闾而望。已到十二点了，林语堂才出来，廖翠凤问：“怎么样啊？”林语堂说：“合格了！”廖翠凤就在大街上给了他一吻。这一吻，宣告了林语堂学生时代的结束，他获得了莱比锡大学的语言学博士学位。

1927年至1936年，林语堂在上海，先住在善钟路的一套西式公寓里，后在愚园路置了花园洋房。林公馆内，草木四季常青，仅白杨树就有四十多棵，还有空地可以种番茄、芹菜、南瓜之类，雇有厨师、保姆、女仆、书童，廖翠凤已是阔绰的林夫人了。1936年应赛珍珠之邀赴美写作，林语堂将房子和家具标价出售，虽是亲兄弟买下了，他也照收款。8月1日林语堂夫妇带着三个孩子登上豪华客轮胡佛总统号离沪赴美，与1919年新婚时赴美留学，不可同日而语。

到了美国先住在宾夕法尼亚省的乡村里，觉得不方便，后迁居纽约，在中央公园西沿的一座大厦的七楼安了家。美国的劳动力没上海那么廉价，林语堂出于写作需要，雇了一个秘书，专职仆人却雇不起了，只能用钟点工。家务劳动的重担就压在了林夫人肩上。

抗战初期，林语堂写了不少文章宣传抗日，廖翠凤也走出家门，担任了纽约华侨妇女发起的救济会的副会长。每天从上午11点到下午4点半，她到第57街的救济会办公室上班，向纽约的贵妇人们宣传抗日，开展募捐活动，还召集救济中国难民和孤儿的各种会议。

廖副会长向救济会提出的许多建议和计划，常常令人拍案叫绝。时间一长，她才透露其中奥妙。林语堂不仅支持夫人从事社会活动，还对救济会的工作很感兴趣，经常为廖翠凤出谋划策，夫唱妇随，锦囊妙计皆出自幽默大师。

林语堂在美国住了30年，既没有入美国籍，也没有办长住的绿卡，只带着中国的一张护照。思乡之情使他1966年回到中国台湾。

1969年1月9日，在中国台北阳明山麓林家花园的客厅里，一对喜烛点燃了，林语堂夫妇想悄悄庆祝结婚五十周年。他们认为这是他俩的事，不让外人参加，然而，还是被至爱亲朋包围了。林语堂把一枚金质胸针献给廖翠凤，上面铸了“金玉缘”三字，并刻了詹姆斯·惠特坎·李莱的不朽名诗《老情人》。林语堂将其译成中文五言诗：

同心相牵挂，/一缕情依依。/岁月如梭逝，/银丝鬓已稀。/幽明倘异路，/仙府应凄凄。/若欲开口笑，/除非相见时。

林语堂幽默地说，我送了她一枚胸章，表彰她当年强有力的决定，五十年来一次又一次为家庭的幸福做出的牺牲。

夫妇二人的性格不同。三个孩子常说：“世上找不到两个比爹妈更不相像的人。”林语堂外向，廖翠凤内向，林语堂是气球，廖翠凤是压载物。没有压载物的气球会碰到灾祸。廖翠凤生性严肃，有条有理，随时穿得整整齐齐，餐桌上总是挑方方正正的腿肉和胸肉吃，不吃肫肝之类的玩意儿。林语堂一向喜欢翅膀、肝肠、脖子之类的杂碎。他乐观，任性，总是魂不守舍，对人生抱着顽皮的看法，讨厌一切拘谨和约束，讨厌领带、裤带和鞋带。林语堂认为廖翠凤属于接纳万物、造福人类的“水”，而自己却是凿穿万物的“金”。

1976年3月26日林语堂逝世于中国香港，灵柩运回中国台北，埋葬于林家庭院的后园，廖翠凤仍与他终日厮守。

1995年，林语堂的女儿林太乙参加厦门大学举办的林语堂百年诞辰学术讨论会，宣读了《忆父亲》一文，回忆父亲曾对她说：“文章做不好没有关系，人却不能做不好。我觉得看一个文化人，就要看在这个文化里长大的人是变成怎样的丈夫和妻子，父亲和母亲。比较之下，所有其他的成就——艺术、哲学、文学和物质生活——都变得毫不重要了。”