與前麵的朝代相比，元代在地方上的最高一級行政區劃有所不同，采用的是中書省、行中書省統轄製度。元代的這一製度是從金朝那裏承襲而來的。如果我們探究行省的起源，可以一直追溯到魏晉南北朝時期。中國古代王宮禁地稱“省”，即省中。魏晉時期，在中央設中書、尚書、門下三省，協助皇帝處理日常政務，省開始成為官署名稱。如果遇到地方上有事情，中央政府便會派某些官員前去處理，組成行台省。我們在前文中已經提到過，在三國時期，司馬昭討伐諸葛誕，開始設立行台自隨。但這時的行台隻是臨時的中央行動機構，事情辦完之後便被撤銷。也正是由於這種緣故，行台省在這時還沒有一定的轄區。
到了北魏、北齊時期，因為當時州郡的設立過多，中央政府統治起來十分不便。為了改變這種情況，加強對地方的控製，便設置行台省，統轄一定數量的州，這樣行台的轄區也就形成了，實際上成為了州、郡、縣以上的一級行政區劃。從隋朝到唐初，一直存在著行台製度，到了唐太宗貞觀年間，行台才被相繼裁撤。
金朝時期，行台製度得到了廣泛的運用。本來金朝占據了北宋的疆土之後，繼承了宋朝分路的體製，隻不過是將路的區域劃得更小了一些。但是由於金朝初期都城設在會寧，距離中原地區過於遙遠，對這一區域控製十分不便，於是在天會十五年(1237)，金熙宗完顏廢掉劉豫齊國政權後，便在齊國故地開封設立了行台尚書省。後來為了應付南宋與西夏的軍事行動，也曾暫時設置過不少行台尚書省。到了金代後期，特別是蒙金戰爭爆發後，金朝軍隊接連失敗，路的長官已無法應付一方的事務，為了處理地方的軍政，金中央政府便派宰臣到各路“行尚書省事”，開府置府，統領一路或數路的區域，這些機構當時叫作“行尚書省”，簡稱“行省”。這些行省在當時仍然還是尚書省的派出機構，代表尚書省行使權力，帶有臨時性質，事情處理完畢後便被撤銷掉。
蒙元在征服中原的過程中，沿用了金朝這一作為戰時的一種臨時措施。元世祖忽必烈以中書省總理全國政務，以行中書省(有時是行尚書省)作為管轄新征服地區的行政機構，久而久之，這個機構所管理的地域範圍也便與行中書省的名稱相稱，簡稱行省或省。同時，作為中央政權機構的中書省本身也直轄包括首都在內的一大片地區。
元代的中書省又稱都省，號為腹裏。設有右、左丞相各一名(蒙古尚右)，名義上的最高長官中書令空缺，而以丞相作為實際長官。另設有平章政事，是丞相的副手。左司、右司為中書省的辦事機構，每司各設有郎中、員外郎、都事等官。
地方最高行政區劃行中書省的全稱是××等處行中書省，簡稱××行省，或隻稱××省。各行省設置的官員一般有平章政事二員，總攬一省軍事、民政、財政等三方麵的大權。另有右丞、左丞各一員，參知政事二員(甘肅、嶺北二行省各減一員)，個別地大事繁多的行省，有時還設丞相一職。左司、右司合並為一，也設有郎中、員外郎、都事等官職，但是品秩都比中書省相同名稱的官員低一等。
另外，為了防止地方割據的情況發生，元朝還立了禦史台，在各行省設置22個肅政廉訪司，用來監督各省內的官民，檢舉他們的犯罪行為，掌管司法工作。
元朝創設的行省製度，是自秦漢以來中央集權製度的一個重大發展，也是我國曆史上地方行政區劃的一次重大改革。這一製度的確立，不僅加強了元朝的中央集權統治，鞏固了多民族國家的統一，而且對明、清以及後來地方行政區劃產生了很大的影響。元代以後，“行省”這個名稱一直沿用下來。明代雖然改行省為布政司，但在當時的口語中仍如此稱呼。另外，元代的行省劃分，也初步奠定了今天我國的省區規模。