中国古代的行政层级本为三级，即秦创造的中央－郡－县三级，东汉时实行了刺史制度，将全国划分为13个州，于是行政层级演化为中央－州－郡（封国）－县四级。到了南北朝之后州迅速泛滥，到了后来，一个州仅只相当于一个郡甚至一个县那样大小，于是在公元583年，隋文帝杨坚下令撤销“郡”一级，保留“州”。公元607年，隋炀帝杨广又下令，改“州”为“郡”，于是恢复到了古代的郡县制，行政层级又变为秦的中央－郡－县三级。但中国疆域过大，中央直接治理数百个州还是有问题，隋朝便开始设置“道”这一新的行政层级，开始仅为军事目的、零散设置，唐朝继承这一制度，并不断增设，但临时性质依然明显。
到了公元627年，唐太宗李世民正式下令，对行政区大幅度裁并，并分全国为10道，分别是一关内道，即首都长安周围，包括今天的陕西北部、甘肃东部等；二河南道，即今天的河南、山东黄河以南地带；三河东道，即今天的山西一带；四河北道，今天的河北及山东黄河以北部分；五山南道，即今天的湖北与陕西南部一带；六陇右道，即今天的甘肃、宁夏一带；七淮南道，即今天的安徽、江苏淮河以南长江以北区域；八江南道，长江以南、五岭以北的广大区域，包括今天的湖南、江西、江苏、浙江及福建一部分；九剑南道，即今天的四川、重庆一带；十岭南道，即今天的两广、福建及越南北部一带。至此，中国的四级制行政架构再次正式确立。道设立后，初期下设属官还不固定、办公场所也不固定，比较虚，后来逐渐落实。到公元639年，初唐鼎盛时期，全国各道共下辖州358个，县1511个。