高祖平定天下後，考慮到連年戰爭，國內百姓疲憊不堪，因此沒有對趙佗用兵。漢朝建國初，漢紀元十一年（公元前196年），高祖派陸賈立趙佗為南粵王，與趙佗剖符通使貿易，讓趙佗在南粵繼續統治百姓，不要危害漢朝南部邊境，南粵國與長沙國接壤。
在高後執政時期，有關部門奏請禁止向南粵國出售鐵器。趙佗說：“高皇帝立我為南粵王，雙方互通使節，交易貨物，而今高後聽信讒言，視蠻夷為異類，阻斷貨物貿易，這種做法一定是長沙王想出來的，長沙王想倚靠中國，滅亡南粵國，而後兼並南粵國土地，以此來立功。”於是趙佗在南粵國幹脆自立為武帝，發兵攻打長沙國邊界，襲擾幾個縣。高後派出將軍隆慮侯周灶反擊，天氣暑熱潮濕，漢軍有很多士卒患病，漢軍被阻隔在南嶺以外。一年後（公元前180年），高後駕崩，漢軍隻好撤軍，趙佗又以軍威財物，恩威並施，拉攏閩越國，拉攏西甌國，迫使他們與自己結為盟國。南粵國的勢力一時間東西達萬餘裏。趙佗出門即是黃屋左纛，行帝王禮，與漢天子一樣。
文帝元年（公元前179年），文帝即位初，君臨天下，詔告諸侯四夷，文帝從代國來到長安，即皇帝位，將以恩德施惠於遠方。還為趙佗在真定縣的父、母親整修墳塋，安排祭掃民戶，每年按時祭祀。文帝召趙佗在國內的昆弟，賜予官職、賜予財物。文帝下詔丞相陳平，推薦可以出使南粵國的使者，陳平推薦了陸賈，陸賈在高祖朝曾經出使過南粵國。文帝召陸賈，拜為太中大夫，還派了一名謁者，作為副使，賜趙佗詔書，詔書中說：“皇帝真誠地問候南粵王，苦心勞意。朕，是高皇帝側室所生的兒子，在代國擔任藩王，路途遙遠，加上朕愚鈍閉塞，未曾與大王互通信息。高皇帝棄群臣，孝惠帝已經離世，高後主持朝政，不幸有病，病情加重，因此朝政悖亂，近乎酷虐。呂氏家族在此期間，禍亂朝政，但還不能掌控朝綱，篡奪漢廷，於是將他人的孩子作為孝惠帝的後嗣。托庇宗廟神靈護佑，朝中大臣齊心合力，將亂臣呂氏全部翦除。漢朝的諸侯王、列侯、官員堅持，朕不得不登上皇帝尊位，現在已經即位。此前聽說南粵王交予將軍隆慮侯周灶一封書信，請求尋找在中原的兄弟，請求撤回長沙國的兩位將軍。朕按照大王書信中的請求，撤回將軍博陽侯陳濞，大王的兄弟現在住在真定縣，已經派人前去慰問，而且維修了大王先人的墓塚。此前聽說大王發兵，侵略漢朝邊境，不斷地製造禍端。在當時，長沙國為此而困苦不堪，南郡更是如此，大王的國家，因此而獲取利益了嗎！在戰場上，士兵交戰，一定會有許多人傷亡，軍中將吏受到傷害，妻子兒女即會失去照顧，兒子失去父親，妻子失去丈夫，父母親失去兒子，殺死對方一人，自己損失十人，朕不願意看到這種情況再繼續下去。朕希望劃定犬牙交錯的雙方邊界，為此問了有關官吏，有關官吏說‘高帝在世時，已經劃定了長沙國領土。’朕不敢擅自改動。有關官吏說：‘得到大王的土地，漢朝不會因此而更加強大，獲得大王的財產，漢朝不會因此而更加富有，服嶺以南，由大王來治理。’那麼，大王現在的稱號也是帝。兩帝並立，沒有通使的車輛來往，傳遞信息，這樣做，大王是否要爭奪天下？爭而不讓，不是仁者所為。希望與大王捐棄前嫌，從今以後，仍然相互交通時節。特地派出漢朝使者陸賈前去曉諭大王，闡明朕的誠意，希望大王能夠接受朕的誠意，不要再製造邊患。向大王送上五十件上好綿衣，三十件中厚綿衣，二十件較薄的綿衣，這是送予大王的禮物。希望大王多欣賞音樂，排解憂愁，代向鄰國問候。”
陸賈來到南粵國後，南粵王趙佗惶恐不安，頓首謝罪，願意接受明詔，作為漢的藩臣，貢獻禮物，謹守職責。於是對南粵國中下令，趙佗說：“我聽說兩雄不並立，兩賢不同世。漢皇帝是當今賢天子。從今以後，南粵國去掉帝王用的黃屋左纛。”又給文帝回信，趙佗說：“蠻夷大長老，臣趙佗昧死再拜，上書皇帝陛下：老夫原來是粵地官吏，高皇帝賜予臣趙佗印璽，詔命臣為南粵王，作為漢的外藩，按照時間向朝廷貢獻，恪盡職守。孝惠皇帝即位，仍然沒有斷絕恩義，賜予老夫的東西更為豐厚。高後主持朝政後，接近小人，聽信佞臣，將南粵國蠻夷作為異類來看待，發布詔令，說：‘不要供給南粵蠻夷鐵器農具；與南粵國貿易馬牛羊，隻能交易雄的，不能交易雌的。’老夫地處偏僻，馬牛羊均已經衰老，老夫知道，祭祀不周到，是死罪，因此派內史藩、中尉高、禦史平三批使者向朝廷上書，表示認罪，服從朝廷，均沒有得到回音。又聽說老夫的父母墳墓已經遭到毀壞，兄弟宗族已經被朝廷官員殺害。南粵國的官吏們紛紛議論，他們說：‘現在對內不能得到漢朝承認，對外不能表明尊貴身份，彰顯自己。’因此老夫才將稱號更改為帝，將南粵國號更改為帝國，並不敢有害於天下。高皇後聽到後，大怒，削去了南粵國的屬籍，斷絕使者來往。老夫懷疑這是長沙王在背後譖毀臣，所以才敢發兵，騷擾長沙國的邊境。而且南方濕熱，蠻夷居住的地方，西邊有甌越國，那裏的越人半身裸體，還能南麵稱王；東邊有閩越國，那裏的民眾不過幾千人，也能稱王；西北有長沙國，他們的人民一半都是蠻夷人，也能稱王。老夫因為此才竊取帝號，聊以自娛。老夫親自平定百邑之地，東西南北廣闊，達數千裏之廣，帶甲的士兵，有百萬之多，還要向漢朝北麵稱臣，這是為什麼？因為老夫不敢背叛先人。老夫在南粵已經有四十九年，今天已經是抱孫子的年齡。還要夙興夜寐，寢不安席，食不甘味，目不敢視華麗之色，耳不願聽鍾鼓之音，是因為還不能與漢朝搞好關係。而今陛下哀憐臣，恢複老夫原來的王位稱號，還像原來一樣雙方通使，老夫即使死了，骨頭即使朽爛，也不敢再稱帝啦！一定北麵稱臣，現在通過使者謹獻上白璧一雙，翠鳥一千，犀角十對，紫貝五百，桂蠧器皿一付，翡翠四十雙，孔雀公母二對。臣趙佗昧死再拜，聽命於皇帝陛下。”
陸賈出使南粵國返回後彙報，文帝聽了出使的結果，大喜。接下來到了景帝朝，南粵國繼續稱臣，派遣使者入長安朝請。但是在南粵國內，仍然暗自使用帝號；使者來到長安朝見天子時，才稱王，與各諸侯王一樣朝拜皇帝。
到了武帝建元四年（公元前137年），趙佗的孫子趙胡為南粵王。登上王位三年後。閩越王郢發兵向南進攻南粵國邊境。南粵國派出使者，向朝廷上書，說：“兩粵均為漢的藩臣，不應該擅自興兵，相互攻伐。而今東越國擅自興兵，侵略臣的邊境，臣不敢舉兵反擊，等候天子明詔。”武帝認為，南粵國謹守朝廷詔命，能夠遵守約定，恪盡職守，於是武帝發兵征伐，派遣兩位將軍，率領漢軍討伐閩越國。漢軍還未抵達南嶺。閩越王的弟弟餘善已經殺了郢，率領閩越國投降，漢軍隨即撤回。
武帝派嚴助前往南粵國曉諭朝廷旨意，南粵王趙胡叩頭謝恩，趙胡說：“天子發大軍討伐閩越國，臣眛死難以報答皇上的恩德！”遂派出太子趙嬰齊入長安，在宮中宿衛。趙胡對嚴助說：“南粵國剛剛遭受戰亂，請使者先行一步。趙胡在近日整裝後，再入長安來朝見天子。”嚴助走後，南粵國大臣勸諫趙胡，他們說：“漢朝舉兵討伐閩越國，殺掉閩越王郢，也是以此來警告南粵國。先王生前囑咐過，事奉漢天子，不要失去做臣子的禮儀就行了，重要的是不能聽信漢朝使者的好言，輕易地入長安朝謁皇帝。一旦入長安朝覲皇帝，就難以返回，到那時離亡國也就不遠了。”趙胡聽了這些話，遂佯裝生病，最終沒有來到長安覲見皇帝，又過了十幾年，趙胡病得很厲害，請求朝廷讓太子趙嬰齊返回南粵國繼位。趙胡去世後，諡號為文王。
趙嬰齊繼承王位，隨後將先王鑄造的武帝、文帝印璽收藏起來。趙嬰齊在長安時，娶了邯鄲人摎（liáo）氏的一位女兒，生下兒子趙興。即位之後，上書請求立摎氏的女兒為王後，立趙興為太子。漢朝多次派出使者，委婉地勸說南粵王到長安來朝覲天子，趙嬰齊在王位上，正在享受著擅自專斷生殺的權利，害怕來到長安，覲見皇帝，留在長安，還要接受漢廷法律的約束，與內地諸侯王一樣，於是稱病，不願意到長安來朝覲天子。隻是派了兒子趙次公入長安，在宮中宿衛。趙嬰齊去世後，諡號為明王。
太子趙興繼承王位，趙興的母親即是王太後。太後在還沒有成為趙嬰齊的妻子前，即與霸陵（文帝的陵寢）縣人安國少季私通。趙嬰齊去世後，武帝元鼎四年（公元前113年），武帝派安國少季作為漢使，曉諭南粵王、王太後到長安來朝覲皇帝，讓辯土、諫議大夫終軍等人隨同前往南粵國，宣讀皇帝詔令，勇士魏臣等人作為輔助，衛尉路博德率領漢軍，駐紮在桂陽郡，等待漢朝使者。南粵王趙興年少，王太後又是中國人，安國少季來到南粵國後，繼續與王太後私通，南粵國人幾乎都知道這件醜事，因此不願意服從王太後。王太後擔心國內動亂，就想倚仗漢朝軍威，勸南粵王和比較受信任的大臣，內附漢朝。南粵王通過使者上書，奏請按照內地諸侯王的慣例，三年入長安朝覲皇帝一次，撤除漢朝與南粵國的邊關。武帝答應了請求，賜南粵國丞相呂嘉銀印，賜予南粵國內史、中尉、太傅印綬，其餘的人，由南粵國自己安排。撤消南粵國還在施行的黥刑、劓刑，統一施行漢朝法律。派去的使者，留在南粵國安撫。南粵王趙興、王太後整理好行裝，還有貴重禮物，準備到長安來覲見皇帝。
南粵國丞相呂嘉，此時已經很老，曾經在三位南粵王手下做過丞相，呂嘉的宗族當中，有七十餘人在王國身居要職，家族中的男子，娶的均為南粵王的女兒，女兒嫁的均為王室子弟或者宗室子弟，又與南粵國中的蒼梧秦王聯姻。在王國中地位非常尊貴，南粵國人對呂嘉也很尊敬，大多數是呂嘉的耳目，呂嘉在民眾中的威望，已經超越南粵王。南粵王上書後，丞相呂嘉多次勸阻南粵王，南粵王趙興不聽。呂嘉遂有叛亂的想法，多次稱病，不願意再麵見漢朝使者。使者此時也已注意到呂嘉的反常舉動，但是形勢還不允許漢朝使者動手。南粵王趙興、王太後也擔心呂嘉會先下手為強，就想借助朝廷來的使者，布置機會，殺掉呂嘉等人。於是擺下酒宴，宴請漢朝使者，大臣們環坐在席上陪侍飲酒。呂嘉的弟弟擔任將軍，安排軍隊在王宮外守衛。酒喝到一半，王太後對呂嘉說：“南粵國要內附朝廷，這是對國家有利的大事，丞相對此卻堅決反對，這是為什麼？”以此來挑動激怒漢朝使者。漢使此時卻猶豫不決，太後遂不敢再繼續追問下去。呂嘉看到酒宴中氣氛不對，隨即慌忙起身，要離開酒宴。太後大怒，用長矛向呂嘉投去，南粵王急忙製止太後。呂嘉遂脫身離去，在弟弟軍隊的保護下，回到家中，而後稱病，不肯再來麵見南粵王和使者。也在暗中準備，陰謀叛亂。南粵王趙興並沒有殺掉呂嘉的意思。呂嘉心中也清楚這一點，幾個月過去後，雙方相安無事，太後卻堅持要殺嘉呂等人，可是自己的力量又不夠。
武帝了解了南粵國的情況後，責備使者臨陣怯懦，當斷不斷。又認為南粵王、王太後已經歸附漢朝，隻有呂嘉叛逆，不足以再讓朝廷派出大軍，於是派了莊參帶二千人前往助陣。莊參說：“如果是前去示好，幾個人就夠了，如果是以武力鎮壓，二千人絕對不夠。”就推辭，不願意前往，武帝撤消了原來的計劃，沒有讓莊參帶兵前去。此時，郟縣人原濟北國相韓千秋，是一位勇士，挺身而出，韓千秋說：“以一個區區南粵國，又有南粵王作為內應，何須擔心呂嘉叛逆，臣願意率領三百勇士前往，一定斬殺呂嘉，以報效朝廷。”武帝派遣韓千秋與王太後的弟弟摎（liáo）樂，率領二千漢軍前往南粵國。剛剛進入粵境，呂嘉造反，對國人下令，呂嘉說：“南粵王年少。王太後是中國人，還與漢朝來的使者淫亂，他們一心想的就是內附漢朝，帶著先王留下來的財寶獻予天子，以謀取個人利益，帶去的隨從人員，進入長安後，即會被賣為奴婢。他們隻顧個人從中取利，卻不顧趙氏的江山社稷，為後世人考慮。”呂嘉派弟弟，率領軍隊殺了太後、南粵王趙興，並且將漢朝派往南粵國的使者全部殺害。呂嘉派人通知蒼悟秦王和南粵國屬下郡縣，立明王趙嬰齊的長子——術陽侯趙建德為南粵王，這是粵人妻子生下的兒子。韓千秋率領二千漢軍剛進入南粵國，連續攻下幾個小縣邑。再後來南粵國人打開道路，提供糧食，在離番禺還有四十裏的地方，粵軍圍殲漢軍，韓千秋率領的二千漢軍，全軍覆沒。然後呂嘉派人將漢朝使者帶來的符節密封，送到邊關要塞上，用謙卑的言辭謝罪，繼而呂嘉發兵把守住通向南粵國的關隘。武帝下詔，說：“韓千秋此次出兵南粵國，雖然無功遇難，也是漢軍之冠。封韓千秋的兒子韓延年為成安侯。摎樂的姐姐身為王太後，首先提出歸附漢朝，封摎樂的兒子摎廣德為龍亢侯。”而後武帝大赦天下，武帝說：“天子衰弱，諸侯國相互攻伐，《春秋》中以此來譏諷大臣不能為君王討伐逆賊。呂嘉、趙建德等人謀反，竟敢自立為南粵王，詔令越國人和長江、淮河以南的樓船水軍，共十萬漢軍出師，前往討伐南粵國。”
武帝元鼎五年（公元前112年）秋天，衛尉路博德擔任伏波將軍，從桂陽郡出兵，沿湟水而下；主爵都尉楊仆擔任樓船將軍，從豫章郡出兵，經過橫浦關；原歸義侯二位越人將軍擔任戈船、下瀨將軍，從零陵郡出兵，漢軍一路沿著漓江下行，還有一路抵達蒼梧郡；另外一路由馳義侯赦免巴郡、蜀郡的罪人補充漢軍，再征發夜郎國的軍隊，沿著牂柯江，順流而下，各路大軍，在番禹會齊。
武帝元鼎六年（公元前111年）冬天，樓船將軍楊仆率領的精銳漢軍，首先攻陷尋狹，打破石門，獲取南粵國人的航船，糧食，而後向前推進，屢次挫敗南粵國人的軍鋒，有數萬南粵國人組成的軍隊等待著伏波將軍。伏波將軍路博德率領由赦免罪人補充的漢軍，因為路途遙遠，延期抵達，與樓船將軍楊仆會合時，僅剩下一千餘人，遂二路並進。樓船將軍楊仆在前，抵達番禹，趙建德、呂嘉率領的叛軍據城堅守。樓船將軍楊仆選擇有利地形，在東南麵紮下營帳，伏波將軍路博德在西北麵紮下營盤。黃昏時分，樓船將軍首先挫敗南粵軍人，而後縱火焚城。南粵軍人早就風聞伏波將軍，天色昏暗，不知漢軍此次究竟來了多少人。伏波將軍路博德紮下營盤後，即開始以政策攻心，凡是臨陣歸降者，即賜予叛軍將領印綬，而後讓受降的南粵將領返回，繼續招降其他人。樓船將軍楊仆則傾力放火燒城，投降的南粵軍人紛紛湧入伏波將軍路博德的營盤中。第二天黎明時分，城中的投降者已經過半，彙聚在伏波將軍路博德的軍營中。呂嘉、趙建德乘著夜色，與數百名親信僚屬坐船逃到海上。伏波將軍路博德詢問投降的南粵軍人，知道了呂嘉等人的去向，隨即派人追趕。原校尉，司馬蘇弘擒獲趙建德，戰後受封為海常侯；南粵軍人郎官都稽擒獲呂嘉，戰後受封為臨蔡侯。