彭家睦雖然瘦小，膽子卻不小。有一次在花園裏看到一條渾身長刺的蟲，別的孩子都嚇跑了，他卻把蟲子抓起來，放在手心細細端詳。他笑著對小朋友說：“人那麼大，蟲這麼小，隻有蟲子怕人，哪有人怕蟲子的道理。”
在花園的旁邊，有條小河，叫做石井河，河水清澈。在五歲的時候，彭家睦就學會了遊泳。夏天，他差不多每天有半天光著屁股泡在小河裏，渾身曬得黑不溜秋。他從小便成了一條水中蛟龍，有著一身好水性。小河裏的小魚、小蝦也使彭家睦著迷。他常常趴在河邊，把頭伸出來，觀看著小魚、小蝦們怎樣“吃飯”、“散步”、“睡覺”。有時，他從花園裏挖來蚯蚓，掛在漁鉤上釣魚、釣蟛蜞(蟛蜞，螃蟹的一種，體小，生長在水邊。)，釣著了，馬上三步並成兩步，跑到“阿大”跟前要她放在鍋裏燒。
自從哥哥給家睦做了一副“彈叉”(廣東話，即彈弓)之後，彭加睦又對鳥兒發生了莫大的興趣。他常常屏著呼吸，等候小鳥的光臨。最初，他總是沒有打中，眼巴巴看著鳥兒飛走了——他的性子太急了，沒等小鳥停穩就射出了石子。後來，他沉住了氣，瞄了又瞄，總算打中了一隻小鳥，那股高興勁就不用提了，連連歡呼“勝利了”，“勝利了”。
有一次，“阿大”給家睦猜謎：“樹上有十隻小鳥，用彈叉打中了一隻，還剩幾隻？”
家睦扳一下指頭，很快就回答：“還剩九隻！”
自從學會了用彈叉打鳥之後，家睦明白了：“樹上的鳥等於零——全嚇跑了！”
彭家睦也喜歡撈魚蟲，養金魚。看著黑色的魚變成紅豔豔的，單尾的變成四叉尾的，他感到有趣極了。
本來，彭家睦聽別人說，被毒蛇咬了之後，走不到七步就會倒下去，使他對毒蛇有點兒害怕。有一次，彭家睦吃一盆炒菜，覺得味道格外鮮美，一問才知道那菜竟是蛇肉！於是，他興致勃勃地跑去看人家剖蛇、炒蛇。從此之後，他對蛇也不怎麼怕了。他曾抓住一隻四腳蛇，用小刀把它剖開。他一邊剖，一邊對小夥伴們說：“你認識了它，就不怕它了！”後來，他還學會了捉蛇、剖蛇。
彭家睦的手很靈巧，他糊的風箏能夠高高地在藍天中飄蕩，樣子也很漂亮，有的小夥伴做的風箏飛不上天，就來請他幫助做，他總是很樂意助人的。
彭家睦還練就了一套跳繩技術。一跳起來，繩子呼呼直響，一口氣跳兩三百下。
至於那後山，雖然是一座不起眼的小山，但在彭家睦小小的心靈中卻是一座高峰。他常常與小夥伴們一起向山頂攀登。誰捷足先登，誰就是冠軍。彭家睦雖然很少奪得冠軍，但是每一次他都氣喘籲籲地爬上了山頂，從不半途而廢。
就這樣，彭家睦從小在大自然的懷抱中成長，愛上了小動物，愛上了花花草草，變得心靈手巧。
就這樣，彭家睦瘦削的身體在運動中得到了鍛煉，變得瘦而不弱，瘦而無病。
“讀書味道長”
1932年，彭家睦七歲了，“阿大”送他到村裏的私塾讀書。一個潦倒的老秀才，成了他的啟蒙老師。在私塾裏，彭家睦開始念這樣頗有趣的課文：
搖，搖，搖，
搖到賣魚橋，
買條魚來燒，
頭未熟，
尾巴焦，
落在鍋裏吱吱叫，
跳三跳，
還是跳到賣魚橋。
彭家睦頗為用功，一回到家裏就搖頭晃腦地大聲背誦“搖，搖，搖”，很快就背得滾瓜爛熟了。這些通俗而有趣的課文，使他從小對文學產生了莫大的興趣。
村裏的私塾隻有一、二年級，1933年，彭家睦考上了廣東省佛山市私立有恒小學，要到那裏念三年級。那時候，彭家睦才八歲，要離鄉背井，到佛山住校，“爸”和“阿大”都很不放心。可是，彭家睦倒滿不在乎，他很想到遠處去，到新的環境中去。就這樣，他八歲就離家，開始獨立生活。
“阿大”時時惦記著這個早產的小兒子，連做夢都夢見他。每隔十天、半個月。“阿大”總是托熟人去佛山看看彭家睦，給他帶去一點好吃的東西。
有一次，熟人回來了，笑眯眯地掏出一張紙給“阿大”看。“阿大”不識字，經別人解釋，這才明白因為彭家睦成績優秀，老師親筆題字獎勵他。紙上寫著：
贈家睦學弟
讀書味道長
“阿大”雖然不懂“讀書味道長”是什麼意思，但是她知道老師在誇獎家睦，眼角皺起了魚尾紋，喜得合不攏嘴。從此，每逢親友來家問起家睦的情況，“阿大”就指著掛在牆上的“讀書味道長”五個大字，親友們一看就明白了。
彭家睦十歲的時候，轉到佛山市私立英華中學學習。這是一家在佛山市首屈一指的教會學校，設有中學及高小部。彭家睦在那裏讀完高小五、六年級，然後升入初中。
不願做亡國奴
正當彭加睦在佛山英華中學埋頭讀書的時候，1937年7月7日，在北京城西南的盧溝橋響起了日本帝國主義者大舉侵略中國的槍聲。“七·七事變”爆發。
這年8月13日，日本侵略者突然襲擊上海。“八·一三”事變爆發。
不久，廣州也被日本帝國主義占領。佛山也淪陷了。
英華中學的師生不願做亡國奴，全校遷到香港，初中部設在東湧，高中部設在沙田。彭家睦那時隻有13歲，也毫不猶豫地遠離故鄉，來到香港求學。他在東湧讀完初中，轉到香港沙田上高中。這時，他已漸漸懂事。盡管在那裏舉目無親，但學習很自覺。
在香港，彭家睦喜歡遊泳，每天堅持跳繩，跳一千多下，還喜歡玩單杠、雙杠。晚上臨睡前以及清晨起床之後，他總是要舉啞鈴。他那細瘦的手臂漸漸變粗，還經常喜歡跟別人比手勁呢？
1941年聖誕節的前一天，日軍占領了香港。
彭家睦隨著逃難的人群，離開香港，回到了故鄉。
正在這時，他的父親彭炳忠因心髒病而逝世，終年54歲。彭家睦失學在家，萬分苦悶，又麵臨著日軍抓壯丁的危險。