都督一職起源於東漢，但當時隻是一種出於軍事需要而設置的臨時性官職，並不是常製。到了曹魏時期，由於對吳、蜀兩國作戰的需要，這一職務已相對固定，並且有了管轄範圍，即都督區的雛形，但當時都督還是隻管軍事，不理民政。到了東晉以後，都督已兼任州的刺史，總攬軍民政事，都督區也趨於穩定，成為了州以上的一級準行政區劃。
依據東晉與南朝都督區的管轄範圍和權限的情況，可以大致分為州之上的都督區與郡之上的都督區兩大類。前者是中央政府將全部州級政區比較有計劃地分成幾個大區域，然後各設都督後而產生的，故區域相對比較穩定。如東晉與南朝時的荊州都督區就屬於這種類型的都督區，通常統轄荊、益、寧、雍、梁等五州，有時還會兼統江州或者是交、廣二州。後者的設立則帶有隨意性，並不是把所有的郡全都劃入，而隻是設置在要地，因此區域具有一定的伸縮性，經常會隨形勢與所任都督的人選而發生變動。沔中都督區就是這種類型的一個例子，這個都督區由以襄陽為中心的沔中八九個郡組成，統屬於荊州都督之下，作為荊州的屏障。
北朝的都督區則遠不像東晉與南朝那樣發達，北魏太武帝時，才開始采用都督製。獻文帝以後，都督的設置雖然逐漸增多起來，但這時的都督區還不是十分穩定，經常變化。西魏末年，都督才成為既管軍又管民的地方大員。北周時，改都督諸州軍事為總管。總管的權力比都督要大，而且轄區也比都督區穩定。
另外，還需要說明的是，東魏與北齊的都督設置並不顯著，而是在州之上設立一種叫“行台”的地方行政機構。三國時期，天下紛爭，朝廷的軍政大權，常常可以被一人操縱。當這樣的一位權臣遠離都城時，又往往在他的在外駐地設立“行台”。史書上就記載了這樣的一個例子。當時在曹魏執掌大權的司馬昭率兵前去討伐諸葛誕，但他仍想兼理朝中的政務，於是散騎常侍裴秀、尚書仆射陳泰、黃門侍郎鍾會等以“行台從”，不過這時的行台隻是中央權力的行動機構，與地方行政無關。等到北魏道武帝南下入居中原，在平城(今山西大同)建都，想要用平城控製河北，於是設置鄴行台、中山行台，但由於當時主要是臨時用來代理中央政府處理對外征討方麵的事情，因此這一鍍度不久便廢除了。北魏統一北方後，依然實行的是都督製，直到東魏武定年間，行台才又恢複設立。行台原本是尚書行台的簡稱，意思就是中央尚書台的地方分部，是代表中央權力管理地方的行政機構，在地方上遇到一些事情，行台可以不必上報中央，而就地自行解決。北齊時，隨著都督區的逐漸消退，出現了普遍設置行台的現象。這時的行台，一般統州十幾個，轄區相對穩定，凡是州刺史以下的官員都在行台的統領之下，兼管軍政與民政，儼然已是州、郡、縣以上的一級行政區劃了。我們可以來看一個當時行台的具體實例。北齊文宣帝時，有一個叫辛術的人做到了東南道行台尚書這樣的高官。當時擔任東徐州刺史的郭誌殺死了一個郡太守，文宣帝聽到這個消息後，深覺有必要加強對地方的治理，於是他下命令給辛術，讓他在所統領的十幾州的區域內，遇到犯法的官員，除去州的刺史要先上報，聽從朝廷處理外，以下的官員可以先自行決斷，處理之後，再上報中央。後來，辛術所負責的行台區內，果然有官員不法，結果辛術便按照文宣帝所說的，將這些人就地法辦了。
隋朝時，也曾為了軍事需要而設置行台省。開皇八年(588)隋文帝出兵伐陳時，就曾在壽春(今安徽壽縣)設立淮南道行台省，等到陳被隋滅掉之後，這個行台省也就廢除了。
唐代初年，行台製度還在實行。高祖李淵滅占據洛陽的王世充時，就曾一度設立過陝東道大行台省。李世民當上皇帝以後，覺得行台權力太大，對中央政權構成很大的威脅，才下令將它廢除了。