作为—个雄才大略的政治家，张居正对明王朝所面临的问题有深刻认识的。他认为当时国力匮乏和盗贼横行都是由于吏治不清造成的。官吏贪污，地主兼并，引起“私家日富，公室日贫”(《张文忠公全集》卷二六《答应天巡抚宋阳山论均粮足民》)，加之皇帝的穷奢极欲，百姓因此才饥寒交迫，落草为寇。由于张居正客观地分析了当时的社会矛盾，正确地把握了问题的实质和关键，这才使他的改革能够顺应历史的潮流，并受到广泛的欢迎。
基于上述看法，张居正决定从整顿吏治开始他的改革。万历元年(1573)十一月，张居正上疏实行“考成法”，明确职责。他以六科控制六部，再以内阁控制六科。对于要办的事，从内阁到六科，从六科都到衙门，层层考试，做到心中有数。改变了以往“上之督之者虽谆谆，而下之听之者恒藐藐”(《张文忠公全集》卷三八《请稽查章奏随事考成以修实政疏》)的拖拉现象。考成法的实行，提高了各级部门的办事效率，而且明确责任，赏罚分明，从而使朝廷发布的政令“虽万里外，朝而而夕奉行”(《明史．张居正传》)。