直到此時，林徽因才真正感受到人生的毫無其他成分摻雜其中的愛情——不涉及世故人情，完全平等的身份地位，使得她可以全心投入這段感情。可以說，若非老金如此為她著想，如此為了她的幸福克製自持，隻要少許引誘，徽因難免偏離軌道。那麼，她在建築學和文壇上的成就，也難免因為生活的坎坷大打折扣，她也未必就能成為後世眼中那麼完美的白蓮花。
這個在學術上精明、感情上冷靜的老金，在自己的事情上卻不拘小節，很多事情糊塗得令人發笑。
據他自己回憶說：“有一次，我打電話給陶孟和，他的服務員問‘您哪兒’。我忘了，答不出來，我說不管它，請陶先生說話就行了。我不好意思說我忘了。可是那位服務員說‘不行’。我請求兩三次，還是不行。我隻好請教於王喜，他是給我拉東洋車的。他說：‘我不知道。’我說：‘你沒有聽見人說過？’他說：‘隻聽見人家叫金博士。’一個‘金’字就提醒我了。”
後來老金聽人說潘梓年先生給人簽名時，別人提醒他姓潘都想不起來自己叫什麼，還五十步笑百步地笑潘老糊塗，老金記性之差可見一斑。
可是記性這樣差，也是對其他事的。對於徽因的事情，一點一滴，他全都刻在心裏。
他回憶美食的時候提道：“林徽因本來是不進廚房的人。有一次在幾個歐亞航空公司的人跑警報到龍頭村時，林徽因炒了一盤荸薺和雞丁，或者是菱角和雞丁。隻有雞是自己家裏的，新成分一定是跑警報的人帶來的。這盤菜非常之好吃，盡管它是臨時湊合起來的。”
徽因不愛做家務，這是她兒子都親口證實的，但是在老金眼裏，隻要是她洗手做羹湯，哪怕臨時拚湊的食材和不甚熟練的廚藝，都能隨便炒出“非常之好吃”的菜。
而對於她的文學作品，即使是未成的一句殘詩，他也能爛熟於心，直到80多歲仍掛心著她寫沒寫完。
徽因的閨密費慰梅笑稱老金是林徽因的“主要文學批評家和欣賞者”，其實並不盡然。老金對徽因的欣賞是全方位的，包括了她的所有方麵。
1937年，北平和天津淪陷之後，梁家夫婦不得不離開北京，隨著國立西南聯合大學前往雲南昆明。1940年，老金追隨他們來到昆明，在他們夫妻新建的農舍旁邊的耳房住下。這間搭靠主屋一麵牆建成的耳房，雲南人叫“偏廈”，比正屋低矮一些，麵積不足十平方米，這間屋子的矮小和條件的艱苦都沒能將他從徽因身邊帶走。徽因在寫給費慰梅的信中說：“這個春天，老金在我們房子的一邊添蓋了一間耳房，這樣，整個北總布胡同集體就原封不動地搬到了這裏，可天知道能維持多久。”
老金來了，整個北總布胡同就全來了，他一定是知道自己對於徽因精神的慰藉，所以才一直守在她身邊。
這種相守從昆明持續到四川李莊，梁家因為外界原因不得不在李莊住下時，日子過得非常拮據困苦，幾度到了不得不賣東西糊口的地步。金嶽霖得知後，千裏迢迢趕到李莊探望他們。她本來就不豐腴，困苦的生活更使得她瘦弱起來，短短幾個月不見，她的變化讓他既心疼又不敢相信自己的眼睛，可她仍是他最最掛心的女子。他絞盡腦汁要給她補充營養，到市場上買來許多雞崽兒養在家中，日日盼望他們能夠早點下蛋，好給徽因吃。
他的出現是林徽因在那段困苦歲月中唯一的希望和樂趣，在關於李莊的回憶中，隻有金嶽霖才能讓她微蹙的眉稍稍鬆開，給費慰梅的信中，她風趣地比喻：“思成是個慢性子，喜歡一次就做一件事情，對做家務是最不在行了。而家務事卻多得很，都來找尋他，就像任何時候都有不同車次的火車到達紐約中央火車站一樣。當然我仍然是站長，他可能就是那個車站！我可能被軋死，但他永遠不會。老金（他在這裏待了些日子了）是那麼一種客人，要麼就是到火車站去送人，要麼就是接人，他稍稍有些幹擾正常的時刻表，但也使火車站比較吸引人一點和站長比較容易激動一點。”