班斿博學有俊材，左將軍史丹舉薦賢良方正，以對策優秀，班斿在朝中擔任議郎，後來班斿升任為諫議大夫、右曹中郎將，與劉向一起在宮中校驗皇家藏書。每次在殿上廷議，班斿都要奉詔，選一些典籍在成帝麵前誦讀。成帝讚賞班斿的才能，賜予班斿藏書的副本。當時這些書籍還沒有在社會上公開，東平思王劉宇以皇帝叔父身份，求借《太史公》、諸子百家等書籍，大將軍當時都沒有答應（詳情記載在《東平王傳》中）。班斿去世得也很早，班斿有一位兒子，名字叫做班嗣，在當時已經小有名氣。
班穉在少年時，在皇宮中擔任過黃門侍郎中常侍，品行端正，操守謹嚴。成帝到了晚年，立定陶王劉欣為皇太子，多次派中盾征求近臣們的意見，隻有班穉不敢回答詔問。哀帝即位後，將班穉調往西河郡屬國任都尉，後來又將班穉調任為廣平國相。
王莽在年少時與班穉兄弟年齡相仿，關係很好，對班斿以兄長看待，對班穉以兄弟看待。班斿去世得早，王莽為班斿穿孝服長達三個月，送的喪禮最重。平帝即位後，太後臨朝稱製，王莽在朝中掌握著朝政大權，想粉飾太平，派出使者分頭到全國各地考查風俗，采集歌頌朝廷的歌謠，廣平國相班穉沒有采集。琅琊郡太守公孫閎在官府中談論災害，大司空甄豐派出屬下快馬來到琅琊郡和廣平國，告諭兩郡、國的官民，彈劾公孫閎製造不祥言論，彈劾班穉拒絕歌頌朝廷，妨害聖朝治理，犯不道罪。太後說：“不宣揚美德，不應該與談論災害的懲罰相同。而且班婕妤是後宮中的賢慧貴人，沒有區別地加以懲治，我為此而感到難過。”於是隻有公孫閎被逮捕下獄處死。班穉恐懼，上書謝恩，表示自己有罪，願意交還諸侯國相印，到成帝的陵寢地延陵園擔任郎官，太後答應了。此後班穉繼續享受原來的俸祿。因此在王莽當政時，班氏家族中沒有人在朝中當官，也沒有人為此而受到迫害。
當初，成帝的性情寬厚，能夠容忍大臣們的逆耳諫言。因此王音、翟方進等人敢於直斥成帝的過失；劉向、杜鄴、王章、朱雲等人也敢於肆意犯上。從成帝的老師安昌侯張禹，到成帝的幾位舅舅，大將軍兄弟和朝中的公卿大夫，後宮外戚以及史氏、許氏家族，在朝中擔任要職的外戚，莫不受到朝中大臣們的彈劾詆毀。穀永曾經說過：“建始、河平年間（公元前32-前25年），許氏、班氏作為外戚貴族，他們的勢力傾動前朝、熏灼四方，皇帝的賞賜難以計數，為此宮內的倉庫空虛，後宮嬪妃們受到的寵幸難以想象。可現在還要超過此前，後宮中受到的寵幸，超過此前十倍。”穀永指的後宮是趙氏、李氏，事實也是如此。
班穉生下班彪。班彪，字叔皮，幼年時與堂哥班嗣在一起讀書學習、遊玩。班氏家中收藏有皇上的賜書，作為外戚，家庭富有，喜歡古文的士人從遠方到長安來，像班彪父親的好朋友揚雄（字子雲）等人，一定要到家中來拜訪。
班斿的兒子班嗣雖然鑽研儒學，但是也崇尚老子、莊子的學問。桓譚曾經向班嗣借有關莊子的書籍，班嗣說：“像莊子這樣的聖人，是古時候的聖賢，有超過常人的智慧，一生中注重修養，保持純真，崇尚自然，澹泊名利，隻能當作師友來看待，不應該受到世俗的玷汙。這就如同是在清澈的溪水邊，潺潺流水，君子蓑笠垂釣，萬物不能汙染其心靈；君子隱居於山林之間，世間任何美事，均難以改變其誌向。莊子不受世俗網羅的羈絆，不理會帝王利益的引誘，心胸坦蕩，超凡脫俗，談論者不聞其名，反而更感覺其思想珍貴。今天我們這些俗人，已經習慣了仁義的桎梏，為名聲所拖累，按照周公、孔子的思維方式去行事，將顏回、閔子騫當作做人的榜樣，完全受困於世俗中的儒學，為何還要去學習老、莊哲學？在古時候有邯鄲學步的故事，意思是學習者沒有成功，反而忘記了來時的步法，最後隻好爬著回去！我擔心無目的地學習老、莊思想，也會得出同樣的結果，所以不敢把書借予你。”班嗣的行為，如同他的觀點一樣。
班穉的兒子班彪認為：隻有聖人的學說才值得努力鑽研，在班彪二十歲那一年，王莽失敗被殺（公元23年），世祖（劉秀）在冀州即位。當時隗（wěi）囂盤踞在隴西，擁眾割據，招攬天下的英雄豪傑；公孫述在蜀郡僭越稱帝。天下一時間風雲際會，大的割據者占有數個州郡，小的割據者也占有幾個縣邑。隗囂問班彪，說：“在古時，周王室衰落，戰國紛爭，天下分裂，數百年後才重新歸為統一，那些縱橫天下的英雄，今天還會再現嗎？能夠接受天命，安定天下的人，會落在誰的身上？請先生教我。”班彪說：“周代的興衰與漢代不同。在古時，周王室設立了五等爵位，諸侯國間各自為政，王室如同是一顆大樹的主幹，根淺幹弱，而下麵的諸侯國卻是枝繁葉茂，因此在王朝末世，才會戰爭連年不斷，諸侯國間縱橫捭闔，戰國七雄爭霸，這是天下形勢使然。漢朝繼承秦代的製度，將諸侯國改製為郡縣，皇室有無上的權威，臣下沒有百年的傳承。在成帝朝，因為成帝將朝政大權交予外戚掌握，哀帝、平帝又相繼短壽，國家三朝沒有皇位繼承人，危機從上麵引起，對於下麵的郡縣，並沒有改變製度上的設計。王氏在朝中雖然尊貴，權傾朝堂，竊據尊位，在下麵的郡縣，卻很難找到同盟者。即使王莽做了真皇帝後，天下人也隻是為漢室歎息，僅過去十餘年，即內外反叛，遠近義軍紛紛起事，佯稱漢將軍的人難以計數，他們均自稱為劉氏後裔，大家起事的目的不謀而合。現在天下豪傑，雖然占據著州郡，但仍然缺少戰國七雄時的資本。《詩經》中說：‘皇天上帝，俯視下土，觀察四野，願民安寧。’現在的百姓仍然在歌頌和思念漢室的聖德，向往著劉氏的統治，這些均能夠看得清楚。”隗囂說：“先生比較了周代、漢代的形勢不同，先生說得對，至於說到百姓已經習慣了劉氏的統治，願意看到漢室再次複興，卻未必見得！當初秦失其鹿，劉邦隻是捷足先登而已，當時的民眾那裏知道有什麼漢朝！”班彪聽出了隗囂話中的含意，又想到隗囂為人狡黠，行為狂妄，於是寫下《王命論》，以闡釋自己的觀點，希望能夠挽救時弊。文章中講：
在上古時，堯帝禪位予舜，曾經鄭重地囑咐舜：“鄭重地告訴你，舜，天命的曆數在你身上。”舜帝以同樣的方式禪位予大禹。當時的朝中輔政大臣有後稷（周的始祖）、商契（商的始祖），他們曾經輔佐過唐堯帝、虞舜帝，上古時的君臣，功業光照四海，事跡流芳百世，到了商湯、周武王時，卻是以武力奪取天下。這是因為在當時，商湯、周武麵對的時代已經不同，無論是禪位，或者是以武力奪取天下，均須順應時代的發展與變化，帝王所創立的功業，還要順天應民，符合曆史的發展。據說，劉氏是堯帝的後裔，是氏族中的大姓，這些在《春秋》中均有記載。堯帝屬於火德，漢代繼承火德，高祖在沛縣大澤中造反起事，有神母在夜間暗示，以此來彰顯赤帝的符瑞。由此看來，帝王在傳承時，會有明聖來顯示懿德，而後才能夠創立下豐功偉績，為後來事業的成功，打下堅實的基礎，帝王的功績上通於神明，其恩澤流布於下民，因此在祭祀時，才能夠招來鬼神護佑，享受他們供奉的祭品，天下最終歸為統一。還從未聽說過，妄圖掌控天下的人，毫無根基，沒有積累下任何功德，即可以平地崛起，穩坐在帝王的位置上。世俗百姓隻是看到了高祖從布衣百姓起家，卻並不了解其中的原委，以為僅僅是遭遇天下大亂，僥幸奮劍斬蛇，遊說的士人，則比喻為天下逐鹿中原，隻是捷足者先登罷了，卻不知神器自有天授，不能僅依靠力量或者權謀，就可以輕而易舉地獲得，這樣的認識太過於膚淺，實在是可悲！世上之所以有這樣多的亂臣賊子，也是因為這個原因，他們怎麼不懂得天道？又不明白人在其中究竟能起多大作用！
饑寒交迫的流民，在流亡的路上忍受著饑寒，盼望著能夠有一件短衣抵禦寒冷，有一碗殘羹充塞荒腹，他們夢想的不過是一金，然而最終的命運，卻是凍餒，死於溝壑。為什麼？人的貧窮同樣有著命運在安排。更何況天子的尊貴，享有四海的富饒，還有神明的護佑，豈可以妄存非分之想？那些所謂遭遇了厄運的流言，想借此而篡奪漢室江山，即使勇猛如同韓信、黥布，強大如同項梁、項籍，僥幸如同王莽，其結果隻能是身首異處，被剁成肉醬；更何況是細民百姓，其功德還遠不如這些蓋世英雄，竟然也想要覬覦天子的位置！這如同是駑馬行路，未經過千裏長途的奔波，燕雀之誌，不了解奮翼長空的雄鷹，鬥拱之才，難以承載千鈞的負重，鬥筲之子，豈能夠擔負起帝王的重任。《易經》中講：“鼎足斷裂，食材傾覆。”其實指的還是難以勝任。
在秦代末世，起義的豪傑共同推舉陳嬰，擔任義軍的大王，陳嬰的母親急忙阻止，陳母說：“自從我嫁到你們陳家，就知道你們祖上時代貧賤，突然富貴，這其實是不祥之兆，不如將兵權讓予他人，事情成功，隻是少得到一些利益，不成功，災禍自然會有人來承擔。”陳嬰聽從了母親的勸告，陳氏家族因此而得以享受安寧。王陵的母親已經看出項氏必然敗亡，劉氏一定能夠獲取成功。當時王陵是漢王的將軍，母親被楚軍俘虜，有漢王的使者前來，王陵的母親見到使者後，對他們說：“告訴我的兒子，漢王是一位長者，一定能夠獲取天下，讓我的兒子謹慎地侍奉漢王，不要懷有二心。”隨即當著漢使的麵，伏劍自殺，以此來堅定兒子的信念。在此之後，天下果然屬漢，王陵也因此成為漢室的宰相，得到封侯的厚遇。以匹婦的智慧，尚能夠辨明事情的真諦，探究禍福的淵源，以保全家族的安危，其事跡流芳於後世，載入史冊，更何況大丈夫要做大事情，更需要冷靜思考！因此說：貧窮、顯達皆有命，吉凶、禍福皆由人，陳嬰母親知道進退，王陵母親看出興衰，舉出這些事例，隻是要說明，帝王的名分，是上天早就已經安排好的。
高祖的成功興起，至少還有五方麵的原因：一是堯帝的苗裔，二是體貌有許多奇異，三是起兵時，即有神靈在暗示瑞兆，四是寬厚明查而且仁恕，五是知人且能善任。加上高祖誠信好謀，善於聽取不同意見，看到可用的人才，唯恐使用慢了；使用人才，如同使用大腦；接受諫言，如同順水行舟；抓住機會，如同山穀回音；即使在吃飯時，也會吐出食物，采納諫言，隻有這樣，張子房的謀略，才能得到很好地施展；為款待謀士，沛公擦幹正在洗腳的髒水，恭敬地向酈生請教建議；對待戍卒的諫言，高祖也能夠虛心采納，下決心割斷對故土的留戀，最終在長安定都；高祖欣賞商山四皓的傲骨，斬斷對趙王的偏愛，重用韓信於行伍，接納陳平於亡命，這樣英雄們才會願意盡心竭力，正是大家的群策群力，高祖才最終贏得天下，成就了帝王事業。至於那些符瑞靈驗，隻能是當作傳說看待而已。當初劉媼妊娠懷上高祖，夢到與神龍交媾，雷電轟鳴，天色昏暗，有龍蛇附身的傳說。等到高祖長大成人，更有著許多靈異，與眾不同，才有後來王媼、武婦感到奇怪，免除了高祖的酒債，呂公一眼即能看出異象，願意將女兒嫁予高祖；秦始皇為此，向東巡遊鎮壓王氣，呂後觀察雲形，即能辨別出高祖的藏身之地；此後又有了接受天命，斬殺白蛇，西入武關，五星彙聚的傳說。淮陰侯、留侯都曾經講過，高祖得天下，是上天授予的，不是人力所能達到的。
從古今的得失，看行事的成敗，推算帝王的時運，檢驗五者之間的關係，取舍如果不合其位，符瑞如果不合實際，隻是一味地追求權力，僭越尊位，這隻能看作：對外不自量力，對內不顧天命，結果隻能是身敗名裂，中途夭亡，遭遇折鼎足之凶，蒙受斧鉞之禍。英雄早悟，畏其禍患，超然物外，洞察未然，視王陵、陳嬰之明智，絕韓信、黥布之覬覦，笑逐鹿中原之荒謬，歎神器原來有天授，從不可得夢幻之中覺醒，不要等到二母媼恥笑罔顧天命，隻有這樣，才會福祚延及子孫，福祿保其終年。