幾年後，韋玄成受命擔任未央宮衛尉，繼而升任太常。因為與原平通侯楊惲關係很好，楊惲被殺，楊惲的同黨朋友全部被免官。再後來韋玄成以列侯身份參加惠帝廟的祭祀，早晨入廟，天上下雨，道路泥濘，韋玄成沒有乘坐駟馬車，而是騎馬參加祭祀。有關官員彈劾韋玄成不敬，像韋玄成一樣的，均遭到削去列侯爵位的懲罰，降為關內侯。韋玄成因為過失，失去了父親的列侯封爵，哀歎道：“我還有何麵目再進祖廟！”寫詩自我譴責，詩中說：
我祖顯赫，侯於豕韋，受賜伯爵，輔弼殷商。功勳卓著，享有車服，朝拜商都，四駿奔馳。德能昭顯，傳於後世，從周至漢，曆代享爵。
楚國太傅，輔佐元、夷，厥功至偉，恭守祗敬。戊王繼位，遷居鄒城，五世相傳，父諡節侯。
節侯仁德，美名遠播，輔弼昭、宣，教導五德。年老退休，惟留馨香，賞賜豐厚，百金府邸。封邑扶陽，位於京東，皇帝挽留，為國籌謀。
六轡安車，車馬轔轔，儀仗排列，天子朝臣。行為端莊，善待宗師，四方遐邇，仰慕威儀。
封邑繼承，在我仁兄，我有仁兄，謙讓輸誠。美哉仁德，赫赫有名，致我受位，滯留京城。歎我小子，不知肅敬，擾亂禮製，橫遭貶黜。
父享顯爵，由我毀棄；家族蒙羞，因我招之。誰能傾訴，撫慰我心；奮勇舉首，願征戎狄。三公顯位，俊傑其中，無謂小子，終攀顯位。華山高峻，仰視可登；道德君子，勵誌可行。嗟歎我輩，往事堪憂，繼往開來，擲地有聲。四方群賢，可為鑒鏡，它日威儀，再履光榮！
有一段時間，宣帝寵幸的姬妾張婕妤的兒子，淮陽憲王劉欽熱心於政事，又熟悉法律，宣帝對劉欽很欣賞，因此有了讓劉欽繼位的想法，可是又想到太子是在宣帝身份卑微時生下的，太子在很小時即已失去母親，宣帝因為此遲遲沒有下定更換太子的決心。過了很久，宣帝想以禮讓感化憲王，為劉欽安排了一位輔佐大臣，召韋玄成擔任淮陽國中尉。當時憲王劉欽還沒有回到封國去，韋玄成受詔之後，與太子太傅蕭望之、以及《五經》儒生在一起討論經學異同，在石渠閣展開了一次有名的辯論，辯論結果逐條奏報給宣帝。到了元帝繼位，元帝任命韋玄成為少府，又升任為太子太傅，教導太子劉驁，後來韋玄成官至禦史大夫。元帝永光年間（公元前43-前39年），韋玄成代替於定國擔任丞相。在被貶黜十年後，韋玄成繼父親之後再次擔任丞相職務，受封為列侯，實現了願望，封邑仍然在原來的地方，一時間被世人紛紛傳頌。韋玄成為此而做詩，自述從錯誤中奮起的艱難，以警示子孫，詩中說：
君子肅穆，功德厥偉，儀容恭敬，堪為楷模。我輩慚愧，德能不侔，曾為朝臣，荒嬉失足。
聖明天子，美德昭彰，不以前譴，授我九卿。我須奮起，夙興夜寐，奮發圖強，不遑疲憊。天子明鑒，擢我三公，憐我改悔，複我爵位。
我既榮登，望我舊階，先考居位，淚眼婆娑。司直祝捷，光耀門庭；群公百僚，賀我嘉慶。拜謝卿士，撫慰我心，三公高位，惶恐難任。輔佐聖主，竭力同心，但有差池，貶退無期。歎息舊譴，心懷懼憚，今居高位，敢不憂慮。
戒我後人，命運無常，謹慎處位，瞻仰悉心。處事恭謹，車服嚴整，無荒無嬉，以保爵封。以我為戒，不慎蹶跌；我今複位，先祖護佑。嗚呼後人，慎言謹行。無玷顯祖，維護漢室！
韋玄成擔任丞相七年，在操守持重方麵不如父親韋賢，但文章著述方麵超過父親。元帝建昭三年（公元前36年），韋玄成去世，諡號為共侯。當初，韋賢在昭帝朝遷至平陵（昭帝的陵寢）縣居住，韋玄成後來遷至杜陵（宣帝的陵寢）縣，患病去世前，韋玄成通過使者奏請朝廷：“不能忍受父子兩地分居，請求退休後，搬回平陵縣居住，死後與父親的墳墓葬在一起。”皇上批準了請求。
韋玄成的兒子頃侯韋寬繼承爵位。去世後，兒子僖侯韋育繼承爵位。去世後，兒子節侯韋沈繼承爵位。從韋賢起，封邑一直傳至玄孫才斷絕。韋玄成的哥哥高寢縣令韋方山的兒子韋安世，曆任郡太守，大鴻臚，長樂宮衛尉。朝廷認為韋安世也有宰相器度，但韋安世因為有病去世，沒有得到任命。東海郡太守韋弘的兒子韋賞通曉《詩經》，哀帝在做定陶王時，韋賞在定陶國擔任太傅。哀帝繼位後。韋賞以舊臣，被任命為大司馬車騎將軍，位列三公，受賜關內侯爵，食邑一千戶，享年八十餘歲，壽終正寢。宗族子弟，官至二千石的有十餘人。
當初，在高祖時，詔令各諸侯王均要在封國內修建太上皇廟。到了惠帝朝，尊高祖廟為太祖廟，景帝尊孝文廟為太宗廟，在皇帝巡幸經過的郡國，都要修建太祖廟、太宗廟。到了宣帝本始二年（公元前72年），又尊孝武廟為世宗廟，武帝巡幸、巡狩經過的地方也要建廟。這樣，在全國修建的祖廟、宗廟，六十八個郡、諸侯國中，共建有一百六十七所。在京師，從高祖到宣帝，再加上太上皇、悼皇考，各自的陵寢旁，還要建廟，共建有一百七十六所。陵園中有寢殿、便殿。每天在寢殿祭祀，每個月在陵廟祭祀，按照時令在便殿祭祀。在寢殿，每日供食四次；在陵廟，每年祭祀二十五次；在便殿，每年祭祀四次。每個月還要把先帝的衣冠，抬出來巡遊一次。昭靈後、武哀王、昭哀後、孝文太後、孝昭太後、衛思後、戾太子、戾後也都有陵寢園，和先帝的加在一起，共有三十所。每年祭祀一次，要供食二萬四千四百五十五次，動用衛士四萬五千一百二十九人，用巫師，屠宰，樂人一萬二千一百四十七人，負責為祭祀飼養牲畜的士卒還沒有計算在內。
到了元帝朝，貢禹上奏諫言：“在上古時，天子隻保留七座廟，而今孝惠、孝景廟的嫡係親人均已經不在人世，應該將其廟宇拆毀。郡國中的宗廟，凡是不符合古代禮製的，也應該早日更正。”天子讚成貢禹的建議，還沒有來得及實施，貢禹去世。永光四年（公元前40年），元帝下詔，討論撤除郡國中的宗廟，元帝說：“朕聽說聖明的君王治理天下。隨著時間推移，修訂法令，要因時、因事製宜。在漢朝建國初期，天下剛剛安定，遠方還未歸附，因此在皇帝曾經到過的地方，要建立宗廟，為的是樹立朝廷威望，消除反叛的隱患，以加強中央集權。而今托庇天地護佑，祖宗福蔭，天下統一，百蠻前來朝貢，仍然遵循原來的製度，使本來已經疏遠的血緣關係，還像原來一樣祭祀，這不是祖宗原來的想法，朕為此而憂慮。古人不是有教導嗎？‘我不親自祭祀，與不祭祀一樣。’將此事交予將軍、列侯、中二千石、二千石、大夫、博士、議郎，一起討論。”丞相韋玄成、禦史大夫鄭弘，太子太傅嚴彭祖、少府歐陽地餘、諫議大夫尹更始等七十人討論後，都說：“臣等認為，祭祀，不是由於外界的影響，而是發自內心的願望，願意這樣去做，是真心的願望。因此才有聖人祭祀先帝，孝子祭祀雙親。在京師皇帝居住的地方設立宗廟，皇帝親自主持祭祀，全國各地的官員，按照職務帶著祭品前來參加助祭，這是尊奉祖先應該做的事情，五帝三王都是這樣做，這是萬世不易的道理。《詩經》中說：‘助祭的人沉靜，嚴肅地進入廟堂，參加助祭的有諸侯和卿士，天子主持祭祀，莊嚴肅穆。’《春秋》大義，父親的祭祀，不設在支庶家中，國君的祭祀，不設在臣仆家中，帝王的祭祀，不設在諸侯的領地。臣等認為，在郡國的宗廟，沒有再保存的必要，不必再修複。”奏議得到批準。此後撤除了昭靈後、武哀王、昭哀後、衛思後、戾太子、戾後園，這些陵寢地不再設置祭祀，也相應地裁減了守衛的官吏、士卒。
撤除了郡國的宗廟之後，又過了一個月，元帝再次下詔，說：“人們常說，聖明的君王製定禮儀，建立四位親人的祭廟，祖宗的祭廟，永遠保留，以此來表明尊祖敬宗，孝敬父母。朕繼承祖宗的基業，而這樣重大的禮儀，至今還沒有完善，內心常感到惶恐，不敢擅自做出決定，將此事交予將軍、列侯、中二千石、二千石、大夫、博士們，一起討論。”韋玄成等四十四人，經過討論後提出奏議，說：“禮經》中講，最早受命的帝王，最早受封為王的諸侯王，應該稱為太祖，後世繼承的，五座祭廟以外，應予以拆除，拆毀祭廟後的神位，收藏在太祖廟中，每五年舉行一次大祭，叫做一禘（dì）一袷（xiá）。袷祭的時候，毀廟的和沒有毀廟的神主，都在太祖廟中合祭，父親為昭，兒子為穆，孫子再為昭，這是古時候的禮法。祭祀的大義是這樣的：‘君王禘其先輩，以祖先配祭，同時再設立四座祭廟。’意思是從先輩那裏繼承王位，在祭天的時候，以祖廟中的神位配祭，不再為他們立廟，以盡孝道。為自己的先輩親人立四座祭廟，以表明對親人的孝道。嫡親的親人沒有了，就將其祭廟拆毀，以表明這種關係在逐漸疏遠，顯示出親情已經結束。周代所以建了七座廟，是因為後稷是周的最早始祖，文王、武王接受天命稱王，這三座祭廟不能拆毀，再加上至親先輩的四座祭廟，而後成為七座祭廟。除了後稷作為始祖建廟，文王、武王接受天命，功勳卓著，也要建廟，一旦後嗣沒有親人在世，即將祭廟拆毀。成王完成了文王、武王的豐功偉業，製定禮儀、音樂，功德茂盛，也沒有保存祭廟，隻是在去世後，以諡號褒獎生前的行為。《禮經》中講，祭廟在宮中的大門以內，意思是不敢遠離親人。臣愚以為高帝接受天命，創立漢朝，應該作為太祖設立祭廟，永遠保存。後邊的皇帝祭廟，一旦親屬關係疏遠，祭廟就要拆毀，現在到處都是宗廟，昭穆沒有次序，應該將他們遷入太祖廟，按照禮儀排定昭穆次序。太上皇、孝惠帝、孝文帝、孝景帝的祭廟，均應該拆除，皇考的祭廟，因為有子孫在，還可以保留。”大司馬車騎將軍許嘉等二十九人，認為孝文帝在世時，廢除誹謗令，撤銷肉刑，躬行節儉，拒絕貢品，罪人家屬不受牽連，不謀私利，釋放宮中的美人，重視百姓後嗣的繼承，賞賜優待老人，撫恤收養鰥寡孤獨，仁德深厚，堪比天地，為民牟利，施恩惠予四海，應該建立太宗廟。廷尉尹忠認為孝武帝確定正朔，改變服色，安綏四夷，應該建立世宗廟。諫議大夫尹更始等十八人認為，將皇考廟放在昭穆裏排序，不合禮儀，應該排除在外。
各種奏議，使得元帝難以做出最終決定，這件事情拖了一年，元帝又再次下詔，說：“人們常說，確立君王的位序，是祖有功，宗有德，孝敬親人，是做人的大義；保留四座直係親人的祭廟，以表明對親人的孝敬。高皇帝為了天下誅暴，建立漢朝，接受天命成為皇帝，功勞最大。孝文帝原來是代王，呂氏家族叛亂，海內震動，朝中大臣，天下百姓都有共同的心願，擁立文帝，文帝在一番謙讓後，繼承皇位，繼位之後，努力消除暴秦的亂象，提倡三代的禮儀風俗，使百姓很快地恢複生產，社會安定，生活幸福，聖德至偉。高皇帝是漢的太祖，孝文帝是太宗，世代受人祭祀，保存祭廟，朕認為應該如此。孝宣帝在孝昭帝後繼位，於禮儀應該是繼承關係。孝景皇帝廟和皇考廟，嫡係親屬沒有親人在世，按照禮製拆毀。”韋玄成等人上奏說：“永遠保存祖、宗祭廟，祖、宗以外的祭廟，第五個，就可以相繼拆毀。而今高皇帝為太祖，孝文帝為太宗，孝景帝排序為昭，孝武帝排序為穆，孝昭帝與孝宣帝均為昭。皇考祭廟，因為子孫還在，還應該保留祭廟。太上皇廟、孝惠廟，已經沒有直係親屬，祭廟應予以拆毀。太上皇廟的神主，原地埋在園中，孝惠帝排序為穆，神主遷進太祖廟供奉，不再修複他們的陵園。”元帝批準上奏。
參加討論的官員，又以《詩經·清廟》詩中提到過，祭祀神主的禮儀，無不要求清靜，現在將故去皇帝的衣冠，取出來巡遊，後邊跟隨著車騎官吏，還要接受風雨氣息，這樣做不利於神主清靜。“祭祀不必追求數量，數量太多，其實是在煩擾神主，煩擾神主則不敬。”應該按照古時候的禮儀，在四季祭祀宗廟，各個陵園每日、每月間的祭祀，均應該停下來。元帝沒有批準這個奏議。第二年，韋玄成又再次上奏：“古時候人們製定禮儀，以區別尊卑貴賤，國君的母親，如果不是正妻，不可以享受祭祀，在寢殿上獻上食物就可以，國君去世後，即可以停止。陛下稟性至孝，繼承傳統，修建祖宗祭廟，製定祭廟迭毀的製度，排定昭穆順序，大的禮儀製度已經完備，孝文太後、孝昭太後的陵寢園地，按照禮製，應該停止修複。”元帝批準奏議。
又過去一年多，韋玄成去世，匡衡繼任丞相。元帝生病臥床，在夢中夢到祖宗在責備他拆毀郡國中的祭廟，元帝的弟弟楚孝王劉囂也做了同樣的夢。元帝下詔詢問匡衡，想把這些拆毀的祭廟重新恢複，匡衡堅決反對。元帝的病情越來越沉重，匡衡也惶恐不安起來，到高祖廟、孝文廟、孝武廟禱告：“後代曾孫皇帝繼承先帝的偉業，夙興夜寐，不敢懈怠，想著要使祖宗的基業更加宏大，以彰顯祖宗的豐功偉績。因此所有祭祀祖宗的禮儀，都按照先聖的遺訓。此前有關官員認為，當初建立很多宗廟，是為了維係海內人心，並不是為了尊重祖先，向親人表示孝敬。全仗著祖宗神靈的護佑，而今天下安寧，遠方歸附，宗廟應該全部建在京師，天子可以親自祭祀，郡國宗廟就不再修建了。皇帝尊崇禮儀，敬奉神明，禱告祖宗，不敢有片刻地遺忘。而今皇帝有病，身體長久不愈，夜裏夢見祖宗因為毀廟的事情責怪，楚王（劉囂）也做了同樣的夢，皇帝內心惶恐，詔令臣匡衡，重新修複郡國中的祭廟。臣恭敬地認為，上代帝王在主持宗廟大禮時，須親自到場。郡國官吏地位卑賤，不能讓他們主持。祭禮的本義，是以民為本，近幾年糧食收成不好，百姓饑困，郡國中的宗廟沒有財力修複。《禮經》中講，在凶年時，可以不舉行祭祀，因為考慮到宗廟裏的神主，會因為凶年祭祀而不高興，所以也就沒有修理。如果因為此而違背了禮儀，忤逆了祖宗的心願，臣匡衡承擔責任，讓臣遭受禍殃，大病一場，掉在溝渠裏。皇帝仁孝謹慎，應該讓皇帝獲得護佑、福氣。望高皇帝、孝文帝、孝武帝能夠省察，皇帝至誠至孝，保佑皇帝萬壽無疆，讓皇帝的疾病早日痊愈，恢複健康，永保宗廟，天下幸甚！”