1936年，林語堂與廖翠鳳一起移居美國30年，又一起在1966年定居台灣。
其實林語堂與廖翠鳳性格各異。用林語堂自己的話來說：
“妻是外向的，我卻是內向的，我好比一個氣球，她就是沉重的墜頭兒，我們就這麼互相恭維。氣球無墜頭兒而亂飄，會招致災禍。她做事井井有條，鄭重其事，衣裳穿著整齊，一切規規矩矩。吃飯時，她總揀切得周正的肉塊吃，如雞胸或雞腿，她避免吃雞肫雞肝兒。我總是愛吃翅膀兒，雞肫，雞脖子，凡是講究吃的人愛吃的東西，我都喜歡吃。我是沒有一刻安靜，遇事樂觀，對人生是采取遊戲人間的態度。一切約束限製的東西我都恨，諸如領帶，褲腰帶，鞋帶兒。妻是水命，水是包容萬有，惠及人群的；我是金命，對什麼事都傷害克損。”
廖翠鳳最大的優點是大度，容忍。林語堂曾經說：“我相信人生一種最大的樂趣是蜷起腿臥在床上。”其實他喜歡躺在床上一邊抽煙一邊看書。林語堂說，廖翠鳳允許他躺在床上抽煙是最大的寬容。
林語堂這樣談及妻子：
“婚姻生活如度大海，風波是一定有的，婚姻是叫兩個不同的人過同一種生活，女人的美不是在臉上，是在心靈上。等到你失敗了，她還鼓勵你，你遭誣陷了，她還相信你，那時，她是真正的美。你看她教養督促女兒，看到她的犧牲、溫柔、諒解、操持、忍耐，那時，你要稱她為安琪兒，是可以的。”
林語堂跟廖翠鳳也有吵架的時候，林語堂的“體會”是：“怎樣做個好丈夫？就是太太在喜歡的時候，你跟著她喜歡，可是太太生氣的時候，你不要跟她生氣。”“少說一句，比多說一句好；有一個人不說，那就更好了。”
1969年8月9日，林語堂與廖翠鳳在陽明山私邸慶賀結婚50周年。林語堂把美國印第安納州詩人詹姆斯·惠特坎·萊裏（JamesWhitcomb Riley）的名詩《An Old Sweetheart of Mine》譯成五言詩刻在一枚勳章上，贈給廖翠鳳。
萊裏的原作是：
When I should be her lover for ever and a day.
And she my faithful sweetheart till her golden hair was gray.
And we should be so happy when either's lips were dumb.
They would not smile in heaven till other's kiss had come.
林語堂把他譯成《老情人》：
同心相牽掛，一縷情依依。
歲月如梭逝，銀絲鬢已稀。
幽明倘異路，仙府應淒淒。
若欲開口笑，除非相見時。
不過，當年俊美的陳錦端的倩影，一直縈繞在林語堂心頭。晚年，林語堂有時會手繪一張張女人圖像，都是留著長發，用一個寬長的夾子夾在背後。女兒問他，畫的是誰，林語堂坦承畫的是陳錦端。
也還是在晚年，林語堂住在香港小女兒林相如家，已經到了坐輪椅的地步。有一天陳錦端的嫂子登門拜訪，因為陳錦端的哥哥是林語堂的老同學。林語堂理所當然問起了陳錦端，知道她還是住在廈門，嫁給廈門大學的一位教授。林語堂對陳錦端嫂嫂說：“你告訴她，我要去看她！”說這話的時候，且不說林語堂已經行走離不開輪椅，而且他在1949年之後還從來沒有去過大陸。
透過偶然流露的思念陳錦端的細節，可以覷見年輕時陳錦端給林語堂留下的不可磨滅的烙印。這種思念，乃人之常情。林語堂對於陳錦端，也隻是停留在這種“一閃念”之中。
客死香港安葬故宅
林語堂夫婦琴瑟之好，家庭也一直和睦。
然而，就在林語堂與夫人廖翠鳳1969年歡慶金婚之喜之後不久，蒙受了沉重的打擊。
1971年，76歲的林語堂忽聞長女林如斯自殺，悲痛之極。長女因婚姻挫折而在房間窗簾杆上上吊自殺。她留下遺書給父母：“對不起，我實在活不下去了，我的心力耗盡了。我非常愛你們。”
白發人給黑發人送葬，林語堂一下子蒼老了許多。
林語堂共有三個女兒，長女林如斯，次女林太乙，小女林相如。在林語堂的熏陶之下，1939年姐妹仨用英文合著《OurFamily》（《我的家》），在美國出版，曾傳為佳話。《Our Family》有多種中文版本，書名為《吾家》。