這裏以後，全家逃到一個偏僻村落的破廟裏，住了一個頗長的時期。這期間，曆經了許多艱難和酸辛，吃、喝、穿一切生活需用都無著落。經過了若幹轉折之後，父親才投到一家張姓家做傭工。這是父親正式充當傭工的時期，同時也是他投軍的始點。
張家是個地主，家裏有兩個兒子。老主人渴望他們獲得功名，支持門第，因此在父親未來以前，已經請了一位武術教師在家，替小主人教些石頭弓箭刀槍一類的課程。兩位少爺卻和一般的闊少沒有兩樣，一切紈袴子弟的習氣無不應有盡有。穿的綾羅綢緞，吃的離不了雞鴨魚肉，早晨老不起床，叫一聲，哼哼大半天沒有動靜。
父親生性勇武，酷好武藝，看見小主人放著這樣好的教師在家，不知努力上進，心裏著實惋惜，於是不時在那教師跟前討教幾套，空閑的時候就搬石子，耍弓箭，獨自苦學潛修。教師看見父親窮苦而有誌氣，功夫也很有根底，心裏喜歡，加倍盡心指教。這樣練習了一個時期，父親的技術已經大有可觀。
考期到了。父親奉命擔著行李送小主人去應考。不知由於怎樣的一個機緣，父親也得到入場應試的幸運。進了試場，兩個闊少連射了三箭，一箭也沒有射中，石子不消說也沒有舉起來。下來了，臊得麵紅耳赤，結果是名落孫山。平素嬌生慣養，一點苦功也沒有下過，臨事自必當場出醜，給爹媽丟臉，這也是不足奇怪的。父親與試的結果，三箭都射中了，石子也舉得合格，居然入學了。這在他自己也是沒有料到的。久經折磨的父親，這時才覺得稍稍吐了一口鬱悶之氣。
父親考入了武庠，祖母卻因此受過一次很大的窘困，說起來也很有趣味。原來父親傭工的期間，祖母已返故鄉竹柯村。故鄉雖然並沒有可留戀的地方，然而生活到底比較外鄉容易些。外麵人地生疏，生活艱難，再三考慮，祖母才離開父親回鄉。為了分在兩下，日子更好過一點。父親入學之後，送報子的星夜到竹柯村報喜。在清代科舉盛行的時候，有人專門靠著報喜為生，每逢榜張出之後，這般人瞅著榜上的一個名字，看清籍貫，即疾驅地拚命跑向目的地。跑得快了，可以得頭報，多賺些賞錢；若是慢了，成了二報三報，就不值錢了。任何人家的父兄，接到自己家子弟功名成就的喜訊，誰都樂意掏些賞錢，表示自己的快慰。但是這次報父親喜訊的報子，可算是生意不佳了。報子到家的時候，祖母赤著腳，挽著褲腿，正在田裏插稻秧，無論如何，也沒有想到這時她的兒子會考取功名。送報的查問了半天，才有人把祖母從田裏找回來。祖母到了家，院子裏已經站滿了人，看見她來了，一擁圍上來，亂嚷著賀喜。大家都說她從此苦盡甘來，吉利話說了一大堆，弄得祖母大半天茫然不知所措。俗語說，自己的苦隻有自己明白。祖母的艱難也隻有她自己知道。大家正在恭維賀喜，吉利話講得起勁的時候，卻不想字字都刺激了祖母的神經，使她聽了傷心。在一片笑語歡騰聲中，祖母忽然嗚咽起來了。家庭一貧如洗，四壁蕭然，每天兩餐飯都發生問題，拿什麼招待報喜的呢？一樣的喜訊，到了窮人家，就變成了無法應付的難題!後來多虧馮文煥的祖母（我的本家嫂子)，察知了祖母的隱衷，趕快地跑到家裏，兜了一些雞子和幾斤米過來替祖母發賞給那報子。可是報喜的卻大大地不高興，經鄰裏多方勸解，才勉強打發他走，算解了祖母的圍。
考取武庠，雖然算不了一件什麼了不起的大事，可是父親的生活卻因此發生了很大的變化。這變化實含有嚴重的時代意義，決不是偶然的。
自從一八四○年鴉片戰爭爆發，數千年來閉關自守的中國，經不住帝國主義炮艦的轟擊，終於被迫著大開門戶。於是國際資本主義的洪流一湧而入，中國舊有的經濟政治的壁壘開始發生急劇的變化，滿清的封建統治也走到了日暮途窮的境地。這一新時代的開始，其征象就是普遍的農村騷亂與新的政治鬥爭的醞釀和發展。一八五○年洪楊革命的爆發，明顯地，即是那外來的與內在的經濟政治條件之下所產生的一個革命運動。經過這次浪潮的泛濫以及戰爭的延長與擴大，那些和土地緊緊束縛在一起的農民，至此也不得不離鄉背井，流亡外地。太平軍在廣西起義，不久即連續占領贛、皖、蘇、浙等省；滿清軍隊與之轉戰於長江流域，前後達十一年之久。這一期間，東南各省農民四散流亡，其中有的投入太平軍，有的應募而為淮軍湘軍以及其他滿清軍隊。總之，生活上都發生了很大的變化。所以一次時代的變動，固然影響國家的政治前途，同時也影響到個人的生活以及一切活動。不過這些時代的意義，在當時並不為參與其間的個人所自覺。父親由流浪而為傭工，由傭工而取中武癢，開始從軍，很明顯的正是這些農民之中的一個例證。他之所以離開農村社會，在他自己看來，或者不外是生活的威脅與上進心理的驅使，其中複雜的時代與社會的意義，他不消說是絲毫沒有意識到的。