东汉时，朝廷实行了刺史制度，将全国划分为13个州，每州置刺史一人，本来是负责监察各地行政官员，但到后来，权力不断增大，逐渐成为一级地方行政首长，称呼也变为州牧，成为尾大不掉之势，东汉后期的割据势力基本都是州牧身份。这样，中国古代的行政层级由秦的中央－郡－县三级演化为东汉时的中央－州－郡（封国）－县四级，中国的中、省、市、县四级行政架构从此有了雏形，虽在以后的历史中有所变更，但大体维持，绵延已近两千年。但四级行政架构的演变也经历了几次非常重要的历史变革，隋朝就进行了重要改革。
出现在东汉的州，到了南北朝之后迅速泛滥，一州分为几个州甚至多个州，新的州名也层出不穷。东汉全国统一，总共才13州，南北朝全国分裂后，各分裂政权的疆域缩小，而州的数目却有增无减，因为到了后来，一个州仅只相当于一个郡那样大小，甚至只相当于一个县，州－郡（封国）－县的层层隶属关系迅速变为重叠的行政层级，结果只是增多了官员，加重了百姓负担，形成了十羊九牧的局面。公元580年底，重新统一了北方的北周下辖达210个州，而郡只有508个，一个州才辖2.5个郡。南朝的陈帝国情况似乎好一些，但公元589年被隋朝统一时，也有30个州，却只有100个郡400个县，一个州才辖3.3个郡。
于是在公元583年，隋朝的河南道行台兵部尚书杨尚希上书说，现在郡县比以前多出两倍，有的地方不到百里就有数县，有的地方户口不满一千竟有两郡，官员成群，财力浪费，就像是十只羊却有九个牧人，建议合并小郡小县。正巧，大臣苏威上书要求废除“郡”一级政府。隋文帝杨坚遂下令，撤销“郡”，保留“州”。到了公元607年，隋炀帝杨广又下令，改“州”为“郡”，恢复到了古代的郡县制，行政层级又变为秦的中央－郡－县三级。再到公元609年，已统一全国的隋朝又将西域重新纳入版图，地域更加广阔，但郡只有190个、县1255个，行政区域合并成效明显。不过郡县制的重现非常短暂，公元618年李渊一登基就宣布把郡再改为州。
但行政区域合并依然不能解决疆域过大治理较难的问题，隋朝开始设置“道”这一新的行政层级，管理某一个区域，成为新的省级行政区域萌芽。初设在隋帝国建立的第二年，即公元582年，当时共设三个道，即河北道、西南道和河南道，道设行台，分别由三个皇子任尚书令，同时配备干练的大臣充任尚书仆射，管理实际事务。此后逐渐增设，唐朝继承这一制度，宋改为路，元正式变为行省。因而，自东汉以后，中国的四级行政架构一直存在，只不过唐宋时期的省级架构权力并不完全罢了。