元帝即位，遵舊儀，間歲正月，一幸甘泉郊泰畤，又東至河東祠後土，西至雍祠五畤。凡五奉泰畤、後土之祠。亦施恩澤，時所過毋出田租，賜百戶牛、酒，或賜爵，赦罪人。
元帝好儒，貢禹、韋玄成、匡衡等相繼為公卿。禹建言漢家宗廟祭祀多不應古禮，上是其言。後韋玄成為丞相，議罷郡國廟，自太上皇、孝惠諸園寢廟皆罷。後元帝寢疾，夢神靈譴罷諸廟祠，上遂複焉。後或罷或複，至哀、平不定。語在《韋玄成傳》。
成帝初即位，丞相衡、禦史大夫譚奏言：“帝王之事莫大乎承天之序，承天之序莫重於郊祀，故聖王盡心極慮以建其製。祭天於南郊，就陽之義也；瘞地於北郊，即陰之象也。天之於天子也，因其所都而各饗焉。往者，孝武皇帝居甘泉宮，即於雲陽立泰畤，祭於宮南。今行常幸長安，郊見皇天，反北之泰陰，祠後土，反東之少陽，事與古製殊。又至雲陽，行溪穀中，厄陝且百裏，汾陰則渡大川，有風波舟楫之危，皆非聖主所宜數乘，郡、縣治道共張，吏民困苦，百官煩費。勞所保之民，行危險之地，難以奉神靈而祈福祐，殆未合於承天子民之意。昔者周文、武郊於豐、鎬，成王郊於雒邑。由此觀之，天隨王者所居而饗之，可見也。甘泉泰畤、河東後土之祠宜可徙置長安，合於古帝王。願與群臣議定。”奏可。大司馬車騎將軍許嘉等八人以為：所從來久遠，宜如故。右將軍王商、博士師丹、議郎翟方進等五十人以為：《禮記》曰“燔柴於太壇，祭天也；瘞薶於大折，祭地也。”兆於南郊，所以定天位也。祭地於大折，在北郊，就陰位也。郊處各在聖王所都之南、北。《書》曰：“越三日丁巳，用牲於郊，牛二。”周公加牲，告徙新邑，定郊禮於雒。明王聖主，事天明，事地察。天地明察，神明章矣。天地以王者為主，故聖王製祭天地之禮必於國郊。長安，聖主之居，皇天所觀視也。甘泉、河東之祠非神靈所饗，宜徙就正陽、大陰之處。違俗複古，循聖製，定天位，如禮便。於是衡、譚奏議曰：“陛下聖德怱明，上通承天之大典，覽群下，使各悉心盡慮，議郊祀之處，天下幸甚。臣聞廣謀從眾，則合於天心，故《洪範》曰‘三人占，則從二人言’，言少從多之義也。論當往古，宜於萬民，則依而從之，違道寡與，則廢而不行。今議者五十八人，其五十人言當徙之義，皆著於經傳，同於上世，便於吏民；八人不案經藝考古製，而以為不宜，無法之議，難以定吉凶。《太誓》曰：‘正稽古立功立事，可以永年，丕天之大律。’《詩》曰‘毋曰高高在上，陟降厥士，日監在茲’，言天之日監王者之處也。又曰‘乃眷西顧，此維予宅’，言天以文王之都為居也。宜於長安定南、北郊，為萬世基。”天子從之。
既定，衡言：“甘泉泰畤紫壇，八觚宣通象八方。五帝壇周環其下，又有群神之壇。以《尚書》禋六宗、望山川、遍群神之義，紫壇有文章、采鏤、黼黻之飾及玉、女樂，石壇、仙人祠，瘞鸞路、騂駒、寓龍馬，不能得其象於古。臣聞郊柴饗帝之義，埽地而祭，上質也。歌大呂舞《雲門》以竢天神，歌太蔟舞《鹹池》以竢地祇，其牲用犢，其席槁稭，其器陶匏，皆因天地之性，貴誠上質，不敢修其文也。以為神祇功德至大，雖修精微而備庶物，猶不足以報功，唯至誠為可，故上質不飾，以章天德。紫壇偽飾女樂、鸞路、騂駒、龍馬、石壇之屬，宜皆勿修。”
衡又言：“王者各以其禮製事天地，非因異世所立而繼之。今（郊）雍鄜、密、上、下畤，本秦侯各以其意所立，非禮之所載術也。漢興之初，儀製未及定，即且因秦故祠，複立北畤。今既稽古，建定天地之大禮，郊見上帝，青、赤、白、黃、黑五方之帝皆畢陳，各有位饌，祭祀備具。諸侯所妄造，王者不當長遵。及北畤，未定時所立，不宜複修。”天子皆從焉。及陳寶祠，由是皆罷。
明年，上始祀南郊，赦奉郊之縣及中都官耐罪囚徒。是歲，衡、譚複條奏：“長安廚官、縣官給祠，郡國候神方士使者所祠，凡六百八十三所，其二百八所應禮及疑無明文，可奉祠如故。其餘四百七十五所不應禮，或複重，請皆罷。”奏可。本雍舊祠二百三所，唯山川諸星十五所為應禮雲。若諸布、諸嚴、諸逐，皆罷。杜主有五祠，置其一。又罷高祖所立梁、晉、秦、荊巫、九天、南山、（萊）〔秦〕中之屬，及孝文渭陽、孝武薄忌泰一、三一、黃帝、冥羊、馬行、泰一、皋山山君、武夷、夏後啟母石、萬裏沙、八神、延年之屬，及孝宣（泰）〔參〕山、蓬山、之罘、成山、萊山、四時、蚩尤、勞穀、五床、仙人、玉女、徑路、黃帝、天神、原水之屬，皆罷。候神方士使者副佐、本草待詔七十餘人皆歸家。
明年，匡衡坐事免官爵。眾庶多言不當變動祭祀者。又初罷甘泉泰畤作南郊日，大風壞甘泉竹宮，折拔畤中樹木十圍以上百餘。天子異之，以問劉向。對曰：“家人尚不欲絕種祠，況於國之神寶舊畤！且甘泉、汾陰及雍五畤始立，皆有神祇感應，然後營之，非苟而已也。武、宣之世，奉此三神，禮敬敕備，神光尤著。祖宗所立神祇舊位，誠未易動。及陳寶祠，自秦文公至今七百餘歲矣，漢興世世常來，光色赤黃，長四五丈，直祠而息，音聲砰隱，野雞皆雊。每見雍太祝祠以太牢，遣候者乘傳馳詣行在所，以為福祥。高祖時五來，文帝二十六來，武帝七十五來，宣帝二十五來，初元元年以來亦二十來，此陽氣舊祠也。及漢宗廟之禮，不得擅議，皆祖宗之君與賢臣所共定。古今異製，經無明文，至尊至重，難以疑說正也。前始納貢禹之議，後人相因，多所動搖。《易大傳》曰：‘誣神者殃及三世。’恐其咎不獨止禹等。”上意恨之。
後上以無繼嗣故，令皇太後詔有司曰：“蓋聞王者承事天地，交接泰一，尊莫著於祭祀。孝武皇帝大聖通明，始建上下之祀，營泰畤於甘泉，定後土於汾陰，而神祇安之，饗國長久，子孫蕃滋，累世遵業，福流於今。今皇帝寬仁孝順，奉循聖緒，靡有大愆，而久無繼嗣。思其咎職，殆在徙南、北郊，違先帝之製，改神祇舊位，失天地之心，以妨繼嗣之福。春秋六十，未見皇孫，食不甘味，寢不安席，朕甚悼焉。《春秋》大複古，善順祀。其複甘泉泰畤、汾陰後土如故，及雍五畤、陳寶祠在陳倉者。”天子複親郊禮如前。又複長安、雍及郡國祠著明者且半。
成帝末年頗好鬼神，亦以無繼嗣故，多上書言祭祀方術者，皆得待詔，祠祭上林苑中長安城旁，費用甚多，然無大貴盛者。穀永說上曰：“臣聞：明於天地之性，不可或以神怪；知萬物之情，不可罔以非類。諸背仁義之正道，不遵《五經》之法言，而盛稱奇怪鬼神，廣崇祭祀之方，求報無福之祠，及言世有仙人，服食不終之藥，遙興輕舉，登遐倒景，覽觀縣圃，浮遊蓬萊，耕耘五德，朝種暮獲，與山石無極，黃冶變化，堅冰淖溺，化色五倉之術者，皆奸人惑眾，挾左道，懷詐偽，以欺罔世主。聽其言，洋洋滿耳，若將可遇；求之，蕩蕩如係風捕景，終不可得。是以明王距而不聽，聖人絕而不語。昔周史萇弘欲以鬼神之術輔尊靈王會朝諸侯，而周愈微，諸侯愈叛。楚懷王隆祭祀，事鬼神，欲以獲福助，卻秦師，而兵挫地削，身辱國危。秦始皇初並天下，甘心於神仙之道，遣徐福、韓終之屬多齎童男童女入海求神、采藥，因逃不還，天下怨恨。漢興，新垣平、齊人少翁、公孫卿、欒大等，皆以仙人黃冶、祭祠、事鬼使物、入海求神、采藥貴幸，賞賜累千金。大尤尊盛，至妻公主，爵位重累，震動海內。元鼎、元封之際，燕、齊之間方士瞋目扼，言有神仙、祭。致福之術者以萬數。其〔後〕，平等皆以術窮詐得，誅夷伏辜。至初元中，有天淵玉女、巨鹿神人、陽侯師張宗之奸，紛紛複起。夫周、秦之末，三五之隆，已嚐專意散財，厚爵祿，竦精神，舉天下以求之矣。曠日經年，靡有毫厘之驗，足以揆今。《經》曰：‘享多儀，儀不及物，惟曰不享。’《論語》說曰：‘子不語怪神。’唯陛下距絕此類，毋令奸人有以窺朝者。”上善其言。