行武出身的宋太祖趙匡胤建立宋朝以後，深知部下握有重兵所潛在的危險，因此他在進行統一天下的同時，也在著重思考這樣一個問題，即如何加強中央集權的專製統治，削弱地方權力，將一切權力收歸中央政府，以使唐朝末年以來長期存在的藩鎮割據局麵不再重演，從而避免宋朝成為五代之後的又一個短命王朝。
建隆元年(960)末的一天，宋太祖向大臣趙普詢問道：“從唐末以來，在短短的幾年間，帝王換了八姓十二君，爭戰無休無止，老百姓深受其苦。我想要從此息滅天下的爭戰，製定一個建立國家長治久安的策略，你有什麼好的辦法嗎?”趙普精通治道，對這些問題也早有所考慮，聽了太祖的發問，他便說這個問題的症結，就在於方鎮太重，君弱臣強，治理的辦法沒有奇巧可施，隻要削奪其權，製其錢穀，收其精兵，天下自然就安定了。趙普的話還沒說完，宋太祖就連聲說：“你不用再說了，我已經全明白了。”於是一個重建中央集權專製製度的計劃就這樣醞釀出來，並逐步付諸實施了。
宋太祖先是上演了一出“杯酒釋兵權”的鬧劇，在建隆二年七月的一天，他利用召集石守信、高懷德等禁軍高級將領喝酒之際，話中有話，讓石守信等宿將意識到自己手中握有兵權可能招來殺身之禍，不得不被迫稱病，從而不費吹灰之力便將這些人的兵權徹底解除。
其次，是對地方藩鎮采取強幹弱枝的方法。唐朝最終由於藩鎮割據而滅亡，並禍延五代十國，造成長期分裂的局麵。這活生生的事實，使宋太祖強烈地意識到道一州一縣三級製的行政區劃對於中央集權的政府來說是絕對不可取的，必須采取一種新的有效的方法來改變這種局麵。
宋太祖趙匡胤為了削弱節度使的權力，首先是把節度使駐地以外兼領的州——當時借用西漢初年諸侯王國屬郡的名稱而叫做支郡(如山南東道節度使就統轄襄、均、房、複等四州，節度使駐在襄州，其餘三州就稱為“支郡”)收歸京師，由中央政府直接統轄，同時由中央派遣文官出任地方官——知州，負責管理各州事務，但是仍然保留了原來各州的州刺史。知州的全名是權知軍州事，意思就是暫時負責該州的軍民事務，其實這一職務是一個固定的官職，隻不過當時為了讓那些節度使們易於接受而在名稱上做了點花樣，等到後來州刺史被廢掉，這一名稱中的“權”字也就省去了。知州每三年更換一次，直接對中央負責，向朝廷奏事，不再聽命於地方上的節度使。至於縣一級政區的官員的情況也與州類似，中央政府派遣中央官員擔任知縣而用來代替原來的縣令。對於一些五代以來一直割據一方的節度使，宋太祖又重演故伎，施展“杯酒釋兵權”的手段，將他們逐一罷免。後來，為了防止知州在地方上的權力過大，又設置通判作為知州的副手，讓他們彼此相互牽製，以便起到分知州權力的目的。
宋太祖把各地節度使所統領的各州收歸中央後，本想由中央政府直接來控製州與縣，實行行政區劃的二級製，但是他很快就發現，在疆域如此廣闊的國家中，想要推行純粹的二級製幾乎已成為一種夢想，特別是在州這種統領縣的一級政區數目很多的情況下，不在二級製之上設立監察區，中央政府想要進行有效的運作，是根本辦不到的。然而一旦設置監察區，又很難避免不發展成為三級製政區，從而削弱中央集權的統治，導致分裂局麵的再度發生。
後來，宋太祖從唐代轉運使的設置中得到啟發。唐朝的轉運使在最初設立時，叫做水陸發運使，負責管理洛陽與長安之間的糧食運輸，之後，又設立過江淮轉運使，掌管江淮各道與全國各地的糧食、財賦的轉運，唐代宗以後，又常與鹽鐵使並為一職，稱作鹽鐵轉運使。這是一種純粹的臨時性的理財差遣。在乾德年間(963～968)，宋太祖把唐朝這一製度稍加改造，把這個臨時性的差遣變成了固定的官職，讓轉運使負責征收和轉運地方上的水陸兩路財賦。由於要轉輸，就需要與交通路線發生聯係，所以宋代統治者又按照全國的地理形勢重新劃分，讓這些轉運使分路進行管理，轉運使的全稱是“某路諸州水陸計度轉運使”，但地方上的實權仍握在州的長官手裏。路在當時與宋朝承繼唐朝而實行的十三道並存。隨著時間的推移，到了宋太宗太平興國二年(977)，下詔把18個節度使所領的諸州全部收歸中央，徹底廢除了支郡製度，使轉運使的權力逐漸擴大，進而發展到了地方上的一切行政管理事務全都交到了他的手中，成為州之上的地方行政長官。道相應變得有職而無權，到了宋太宗淳化五年(994)，道便被廢掉了。這樣，宋朝在州之上，便形成了新的一級行政區劃——路。