不過，在三個女兒之中，後來繼承林語堂衣缽的是次女林太乙。長女成為英文翻譯，小女林相如為大學教授。
林太乙跟林語堂一樣，曾用英文寫作了多部小說在美國出版，如《丁香遍野》、《金盤街》、《春雷春雨》、《明月幾時有》等。她還寫了《林語堂傳》及自傳《林家次女》。她更擅長寫散文。
1949年，林太乙與華裔學者黎明結婚。黎明初任聯合國翻譯，後任香港中文大學出版社社長。1962年，林太乙與丈夫遷居香港。從1965年起，39歲的林太乙應聘出任美國《讀者文摘》中文版總編輯。她擔任這一職務長達23年之久。在長女林如斯去世之後，林語堂夫婦到香港探視次女林太乙及小女林相如。林太乙敏銳地察覺到了父親林語堂的變化：
有一天，他（指林語堂）從書桌抬起頭來看我時，我覺得他那對爍亮的眼睛變得遲鈍了。我心裏一震，感到不好。
“我喜歡中國以前一位作家說過的話：‘古人沒有被迫說話，但他們心血來潮時，要說什麼就說什麼；有時候談論重大的事件，有時抒發自己的感想。說完話，就走。’我也是這樣。我的筆寫出我胸中的話。我的話說完了。我就要告辭。”
我看了嚇了一跳，好像爸爸有死亡的預感。
1976年3月26日，林語堂客死於香港，終年82歲。
關於林語堂的死，林太乙這樣寫道：
有一天早上，在我上班之前，妹妹打來電話給我說：“你快點來。爸在吐血，我已經叫了救護車要送他到瑪麗醫院。”我趕到幹德道，陪著車子一起到醫院。檢查結果是胃出血。第二天，醫生用探針從氣管插入胃裏，以了解出血的情形。妹妹和我在病房的走廊等了好幾個小時，才看見護士把他推回來。他活受罪，心情很壞。我們在醫院裏陪他一天，看情況相當穩定，才回家。不料第三天我在辦公室時，妹妹來電話說：“你快點來。爸爸心髒病突發，醫生說，情況不好。”
到了醫院一問，爸爸已送入加強醫護部。我和妹妹穿上白色的罩衣，套上罩鞋進去那間大房間，看見醫生正為他戴上氧氣罩。他看見我叫了我一聲，那也許是最後的一聲。
我們在病房外麵坐下。醫生叫我們不要走開。許多醫生進進出出病房。有一次我在門外看見七八個身穿白色衣服的人圍著他的病床。偶爾我們得到報告，在給他打強心劑。他的腎功能失靈，再來是他的腦部已經死亡，但心髒仍然跳動。
我們進去看他時，他的心髒仍然跳動。他的眼睛貼著膠帶，有四五個管子插在他雙臂和身上，他赤裸裸地平臥著，隻蓋著一張被單。我想，他是赤裸裸出世的，現在赤裸裸的去了。他的心髒停了又恢複了跳動，一連九次，才終於放棄生命。那是一九七六年三月二十六日晚上十時十分。
1976年4月1日，林語堂遺體運回台北，安葬於陽明山故居後園。
我來到林語堂故居後園。林語堂是基督教徒，他的墓很簡樸，長方形，與地持平，不像閻錫山在陽明山的圓形墓又高又大。林語堂墓碑上的字，是錢穆題寫的。
廖翠鳳女士捐出林語堂的藏書、手稿、用品等大量遺物給台北市政府，在1982年11月3日成立“林語堂先生紀念圖書館”。“林語堂先生紀念圖書館”就設立在林語堂故居之中。
1995年林語堂次女林太乙出席廈門大學舉辦的林語堂百年誕辰學術討論會，回憶父親曾對她說：“孔子所謂行有餘力，則以學文。可見行為的重要在文字之上。文章做不好沒有關係，人卻不能做不好。我覺得看一個文化人，就要看在這個文化裏長大的人是變成怎樣的丈夫和妻子，父親和母親。比較之下，所有其他的成就——藝術、哲學、文學和物質生活都變得毫不重要了。”
就人品而言，林語堂先生一生端端正正。
我坐在故居寬敞的陽台上，從那裏可以俯瞰山下的台北市區。那裏是林語堂先生生前喜歡坐的地方。他曾在自傳裏寫道：“黃昏時候，工作完，飯罷，既吃西瓜，一人坐在陽台上獨自乘涼，口銜煙鬥，若吃煙，若不吃煙，看前山慢慢沉入夜色的朦朧裏。下麵天母燈光閃爍，清風徐來，若有所思，若無所思，不亦快哉……”如今陽台上，依舊放著林語堂當年用過的木製小桌和藤椅。
林語堂故居交通便捷又景色秀麗，如今這裏經常舉行文學講座、研討會，成為台北的一道文學風景線。