翻開司馬遷寫的《史記》中的《秦始皇本紀》，我們可以看到如下的一段記載：在秦剛剛完成統一的公元前221年，秦王贏政在都城鹹陽(今陝西鹹陽東北)召集各位大臣，開了一個具有十分重要意義的宮廷禦前會議。這次會議所討論的內容主要有兩件事：一是商議帝號；一是製定製度。
秦本來是與齊、楚、燕、韓、趙、魏等六國一樣的諸侯國，經過多年的征戰，如今將其他六國全部平定，四海歸為一統，秦王贏政覺得自己功高蓋世，認為如果再用與原六國的國君一樣的名號來稱呼他，是無法顯示他的豐功偉績，也無法使他流名百世的。於是他在群臣建議的基礎上，自定為“始皇帝”。群臣對此也都表示同意，並無異議。
至於會議所討論的第二件事，則沒有如此順利，非但如此，還引發了一場不小的爭論。以丞相王綰為代表的一批大臣，率先向秦始皇建議說：現在秦剛剛統一了六國，原六國之地，如燕、齊、楚等，地處較遠，如果不分封新的諸侯王，恐怕無法鎮撫這些地區，所以請求立諸皇子為王，希望聖上能夠批準。秦始皇於是將這一提議交給群臣們討論，結果幾乎所有的大臣都認為這個辦法非常好，應該實行。惟獨廷尉李斯對此不以為然，他辯論道：“當初周文王與周武王分封了很多的同姓子弟為諸侯王，但是後來這些諸侯王彼此之間的關係漸漸疏遠，互相攻擊，視同仇人，周天子對此也不能禁止。現在四海之內，仰仗陛下的神靈而得以一統，成為了郡縣之地。用國家的賦稅重賞諸位王子與功臣，就已經足夠了。改行郡縣製，天下沒有不同的意見，就說明這一製度是有利於國家安定的措施，所以說分封諸侯是不適當的做法。”聽了李斯一席話之後，秦始皇最後說：“天下的人們苦於連年的戰爭不止，之所以會造成這樣的原因，就是因為有諸侯王的存在。我們仰賴祖輩，使天下剛剛平定下來，現在又要分封諸侯國，這是在製造戰爭啊，而在這種情況下，卻還要尋求秦疆域政區示意圖安寧，豈不是一件非常難的事情嗎!因此，還是廷尉李斯所提的實行郡縣製的建議說得對。”
於是秦始皇按照李斯的建議，不立尺土之封，推行郡縣製，將全國分成了36郡，每郡設郡守、郡尉、監禦史等官。這些郡的官員，都由中央朝廷直接任命，而且可以定期更換。郡守是一郡的行政長官，權力很大，除了所轄各縣的長官由中央任命外，一郡的屬吏都由郡守從本郡人士當中辟舉。在治郡方略方麵，郡守可以施展自己的才能，朝廷對此不加幹預。郡尉典武職甲卒，不是郡守的屬官，而是直接領受朝廷的命令。監禦史負責監察郡治，又叫郡監，隸屬於禦史中丞，是中央監臨地方的官員。因此，監禦史、郡守、郡尉雖然在職務上相互聯係，卻不相隸屬。郡之下再轄縣，每個縣依據大小不同，設令(大縣)或長(小縣)。
36郡的劃分是在秦代初期時的疆域基礎之上進行的，其中許多郡是沿襲原六國之舊而未做變動，部分郡則是加以改建。同時，又在原六國的各自都城地區置郡，齊的五都之地也被改置為二郡之地。這之後，大約在秦始皇二十九年(前218)，秦軍向南越過南嶺，開始了對南越人的征服。幾年之後，秦軍再次從水路，沿史祿率人開鑿的溝通湘江與漓江的運河——靈渠，到達嶺南，占領了五嶺以南的南越地(今廣東、廣西及越南東北部)，然後設立了南海、桂林及象郡等三郡。
秦始皇三十二年(前215)，大將蒙恬奉秦始皇的命令，帶領30萬大軍向北，將活動在河套一帶的匈奴人趕走，收複了戰國時趙國的地盤。第二年，秦便在陰山以南、黃河以東的區域內設置了九原郡，統轄新在這一區域內建立的34個縣(一說44個縣)。為了加強秦朝北部的邊防，秦始皇又征募勞力將戰國時期秦國、趙國和燕國各自築造的長城連接起來，加以補建修繕，最後建成了一條西起臨洮(今甘肅岷縣)，沿黃河、陰山，東至遼東(今朝鮮平壤西北海濱)的萬裏長城。