匡衡，字稚圭，東海郡承縣人。匡衡的父輩以上世代務農，直到匡衡這一代。匡衡喜歡讀書，但家中貧困，還需要為人做工，以補貼家用。在學習之餘，匡衡還要做工，也顯示出匡衡精力過人。在當時，儒生們常感歎說：“不必解《詩》，匡衡要來，匡衡解《詩》，聽者開懷。”
匡衡參加射策甲科考試，因為考試不符合要求，隻被任命為太常掌故，後來又調任為平原郡文學。有很多學者上書，推薦匡衡，說匡衡精通經學，當世無雙，應該到京師來做文學官；因為有許多讀書人，願意跟隨匡衡在平原郡學習，匡衡任職的地方，距離京師不應該太遠。宣帝看了上書，將奏書發下去，讓太子太傅蕭望之、少府梁丘賀考查匡衡，匡衡麵對著朝廷大臣，講解《詩經》，闡明大義，回答得很好。蕭望之上奏，認為匡衡精通經學，對儒學的理解，有著名師傳承，是一位難得的人才，可以委以重用。在當時，宣帝並不重視儒學，讓匡衡留在平原郡，繼續擔任文學。皇太子劉奭讀了匡衡的答問，很欣賞匡衡。
宣帝去世後，太子劉奭繼位，這是元帝，樂陵侯史高以外戚身份擔任大司馬車騎將軍，兼領內朝尚書事務，前將軍蕭望之為副手。蕭望之是一代名儒，做過元帝的師傅，有舊恩，元帝對蕭望之委以重任，蕭望之向元帝推薦很多有才學的士人。史高在朝中反而顯得無足輕重，史高與蕭望之間有了隔閡。長安縣令楊興提醒史高：“將軍以先帝外戚身份輔政，在朝中的地位尊貴無比，然而，朝廷內外，對將軍卻並無讚譽之聲，聲望不高，這是為什麼？因為還有些流言蜚語。這些流言說：將軍幕府，為海內所仰望，但將軍隻舉薦一些私屬、門客，或者是乳母的子弟，將軍對這些流言不以為然，講得人多了，聽的人也就會很多，流言將會傳遍海內。富貴在身，沒有眾人讚譽，如同穿著白色狐皮衣，卻皮麵朝內。古人常擔心這些，因此而煞費苦心，招攬名士。《左傳》中講：‘賢士難得，不能坐在家中等候，珍饈可口，不能坐等烹調享受。’這一類道理還有很多。平原郡文學匡衡是一位飽學士人，人們都讚譽匡衡，可惜匡衡還沒有施展才能的機會，現在匡衡在郡裏做一位小官。假若將軍能夠推誠相待，將匡衡召至將軍幕府，匡衡一定會很高興，讓匡衡參與政事，再觀察一下他的能力，然後舉薦給朝廷，我相信，匡衡不會辜負將軍的舉薦。因為舉薦匡衡，天下人也會看到將軍愛才，將軍的聲望，即會得到提高。”史高認為長安縣令楊興講得有道理，於是任命匡衡為將軍幕府議曹史，繼而推薦給元帝，元帝任命匡衡為郎中，此後做了博士，在宮內兼任給事。
在當時，多次發生日蝕和地震，元帝向匡衡詢問災異與施政間的關係，匡衡上疏說：
臣聽說在五帝時，禮樂不同，在三王時，教化各異，時代在變化，民風民俗也會有著相應改變，人們看待問題，會隨著時代變化，而有所差異。陛下即位以來，崇尚聖德，開啟太平，同情因為愚蠢而犯下罪行的官吏與百姓，這些罪犯被判刑之後，朝廷連年實施大赦，給予犯罪者改過自新的機會，這是皇帝的聖德。但臣看到大赦之後，犯罪並沒有得到製止，今天大赦，明天還會有人重新犯罪，結果又重新入獄，這樣做，起不到引領官吏、百姓向善的目的。一般來講，勸導百姓，要“陳之以德義”，“示之以好惡”，觀其失而製其宜，才能夠達到教化目的。當今世俗，世人皆貪財賤義，喜歡聲色，崇尚奢侈，寡廉鮮恥，放縱恣肆，綱紀失序，還有些外戚幹預朝政，皇室的宗親受到疏遠，大臣們以姻親結成死黨，常心存僥幸，為牟取利益，不惜鋌而走險。這種情況如果再不改變，即使連年大赦，也難以達到刑罰棄之不用的目的。
臣認為，要想改變社會風俗，應該鑒古知今。孔子說：“用禮讓治理國家，治理國家還會有困難嗎！”朝堂上的大臣，均為國家棟梁。公卿大夫之間，如果相互之間，能夠循禮相讓，百姓就不會為了利益而爭執；公卿們如果能夠樂善好施，百姓就不會以暴力相向；朝廷如果能夠崇尚禮義，百姓也會同樣效仿；朝廷中的大臣待人寬恕，百姓也會相忍相愛。做到了這四點，聖王不用嚴刑峻法，教化也能夠收到效果。反過來，假若朝中大臣，說話疾言厲色，百姓自然會爭鬥不息；上有專橫之士，下必有不讓之民；上有逞強之心，下定有傷害之意；上有好利之臣，下即會有盜竊之民：上行下效，這也是必然的。當今俗吏治理百姓，不能夠以謙讓來實施教化，而是濫用刑罰，羅織罪網，陷人於有罪，這樣做勢必會導致貪財慕勢，犯法者日眾，奸邪得不到製止，即使有嚴刑峻法，也難以教化好百姓。這不是犯法者有犯法的天性，實在是風氣使然。
臣研究《詩經》、《國風》，其中《周南》、《召南》對教化有著很好的啟示作用，按照教義去做，努力實踐，懂得廉恥的人就會多起來。鄭伯好勇，國人則喜歡搏虎；秦穆公崇信，士人則願意赴死；陳夫人好巫，民眾則喜歡淫祀；晉侯好儉，民眾則喜歡儲蓄；太王躬讓，邠國人則學會寬恕。由此看來，治理天下首先要看提倡什麼。現在奸邪肆虐，暴徒橫行，可謂是登峰造極。我聽說要實施教化，並不是要到百姓家中去，麵對著百姓指導。隻要是能夠做到賢者在位，能者在職，朝廷崇尚禮讓，百官謙遜謹慎。推行教化，從朝內到朝外，由近及遠，民眾自然就學會了遵紀守法，不知不覺地悉心向善。百姓理解了和諧的道理，陰陽也就會和諧，百神隨之響應，祥瑞嘉兆即會相繼出現。《詩經》中講：“商都繁華，四方循禮；壽考安寧，保我後人。”這是成湯的治理已經獲得成效，保全了成湯的子孫，通過實施教化，移風易俗，最終又懷柔了鬼方。如今，長安是天子國都，百姓親臨聖德教化，可是習俗與遠方相比，卻並沒有好在什麼地方，郡國中來的人無從效法，看到的隻是些奢侈淫靡，競相攀比的風氣。京畿本來是是教化的首善之地，是風俗轉化的樞機，應該領風氣之先，首先要糾正奢侈淫靡的風氣。
臣聽說天人之間，陰陽之氣相互浸潤，善惡都會有所反映，下麵做的事情，上天也會有景象顯現，陰陽也會有所感應，陰變則靜者動，陽蔽則明者暗，水旱災害則會相繼出現。現在崤山以東連年饑饉，百姓貧困，竟然還有人相食的情況發生，這些均是由於賦斂過重，民眾賦稅過多，官吏辦事不力，而造成的結果。陛下敬畏天威，哀憐百姓生活艱難，首先減損皇宮中的費用，減少甘泉宮、建章宮的宿衛，撤銷珠崖郡，偃武修文，希望能夠像唐堯、虞舜一樣治理，避免像殷紂王、周王室的衰亡。凡是看到撤銷珠崖郡詔書的人，莫不感到歡欣鼓舞，大家都認為，還能看到太平盛世的到來。皇帝減省宮中的用度，減少奢靡的裝飾，修訂製度，整修朝廷內外，親近忠正大臣，遠離讒佞小人，避開鄭、衛淫聲，專注《雅》、《頌》德音，舉薦卓越士人，鼓勵直言諫諍，重用善良的官員，斥退狠毒的酷吏，彰顯高士的情操，倡導奉公的責任，熟讀《六經》要義，汲取先帝的經驗，尊崇自然之道，強調教化和諧，以仁治國，匡正風俗，端正視聽，海內外昭然領悟，本朝重視施政的效果，道德在京師內外均能得到弘揚，淑聞在域外也能夠得以傳誦，教化一定能夠獲取成功，禮讓的風氣也一定能夠實現。
元帝聽了這些諫言，很高興，提拔匡衡為光祿大夫、太子少傅。