有人說三代培養出一個貴族，可見家庭環境對於一個孩子氣質的培養有多重要，林徽因就是在這樣一個深具文化氣息的家族裏成長的女孩，氣質自然不同，所以才成為民國才女中的佼佼者。
林徽因的父親似乎格外疼愛這個孩子，因為她懂事、聰明，便把她當作自己的知己、忘年交。徽因也不負眾望，小小年紀就可以為父親分憂，一雙聰慧的眼睛透著超乎她那個年齡段的光，仿佛要看透世間的一切。
徽因對家庭的回憶僅限於父親，那是第一個寵愛她的男人。她的父親林長民是清末民初政壇上的風雲人物，是文化圈裏的名人，很多人都喜歡他，徐誌摩也是崇拜林長民的粉絲之一。林長民在司法總長任上與梁啟超同僚，梁啟超任財政總長。他們的關係非常好，非常默契，意氣相投，攜手鼎力推動憲政運動，是政壇“研究係”的兩頂梁柱。
或許上蒼為了平衡，既然給了林徽因一個十分優秀的父親，那麼為她安排的母親隻能是再平凡不過的女性了。林徽因生母何雪媛的頭腦像她一雙裹得緊緊的小腳一樣，守舊還有點畸形，不懂女紅，脾氣暴躁。徽因的媽媽是妾，所以在那個年代徽因就是庶出，徽因媽媽生了三個孩子死了兩個，徽因是唯一活下來的孩子。
宿命給我們的結局，隻是叫我們攤開手心，但是裏麵是空洞的。生活的富足不能代替精神生活的滿足，徽因過得並不快樂，因為父親又娶了別的女人，母親是一個沒有多少文化的女人，所以徽因一直活在父親對母親的不滿，母親對父親的抱怨中。那仿佛是一種常態，也是徽因最不願意看到的場麵。
家庭環境的複雜，讓她比其他孩子多了一份成熟的心思。母親和二娘之間的矛盾，也讓她的童年多了幾分晦暗。她知道母親對父親的依賴源於自己無法獨立，所以她懂得獨立的可貴，也知道自己將來應該怎樣做。
林徽因的摯友費慰梅曾回憶：“她的早熟使家中的親戚把她當成一個成人而因此騙走了她的童年。”“早熟”二字剝奪了徽因童年的美好。在某個未知的時刻，生命已經變成一種無法完成的救贖。在記憶裏搜索著笑容，卻隻是一個人的荒原，一個人孤獨地行走。
梁從誡回憶母親時曾經說過：“她愛父親，卻恨他對母親的無情；她愛自己的母親，卻又恨她不爭氣；她以長姊真摯的感情，愛著幾個異母的弟妹，然而，那個半封建家庭中扭曲了的人際關係卻在精神上深深地傷害過她。可能是由於這一切，她後來的一生中很少表現出三從四德式的溫順，卻不斷地在追求人格上的獨立和自由。”這是一種怎樣的無奈，幸運的是這並沒有影響林徽因人格的形成，她依舊是那個活潑可愛、開朗樂觀的少女，把一切不快與陰影都埋藏在心靈深處。可是這種家庭環境還是潛移默化地影響了徽因對未來、對婚姻、對愛情的選擇。
父親時常在外，常留林徽因在祖父身邊，她就像一個通信員，用她稚嫩的筆觸為家人傳遞著信息。她6歲開始代筆為祖父給父親寫家信，儼然一個小大人。
內心成熟的孩子，常會表現得與眾不同。12歲的徽因隨全家從上海遷到北京，北京——這個與上海不同的城市文化底蘊很深，霸氣的皇城讓徽因感覺到了與江南兩種不同的文化。
此時的徽因是一個聰明、有主見、能幫助料理家務的孩子。她看上去非常清瘦，所以亭亭玉立，柔美纖細。她非常懂事，能夠幫著父親照顧弟妹，林家人都說，徽因是父親最喜愛的孩子。
徽因的進步讓父親林長民很欣慰，這時候的林長民正處於政治低穀期，被派到日本考察，一直想要女兒增長見識的他本想把徽因帶在身邊，可是未能達成心願，這讓林長民非常遺憾。他曾經在給林徽因的信中寫道：“每到遊覽勝地，悔未攜汝來觀，每到宴會又幸汝未來同受困也。”不管相隔多遠，父親對女兒的溺愛之情溢於言表，他希望寵愛著女兒，希望她有見識。