所谓客家人，意指做客他乡之人。专家学者对此曾有“主客说”、“给客说”、“时间划分说”、“自称说”等种种诠释。但无论哪种诠释，真本质都是一致的，即客家人不是原有土著之人，是从外地迁入的。迄今为止，客家人的历史可以说经过四个发展变化阶段。
第一阶段是起源阶段
岭南地区是客家人起源和形成的地方，现在国内和国外各地的客家人，其祖辈都与岭南地区有着渊源关系。客家人的先民是从中原地区来的，所以，研究客家文化和民系的产生，应与岭南地区与中原地区的交往联系起来。
上古时代，岭南地区就有人类居住，但在秦朝之前，与黄河、长江流域相比，岭南地区的文明程度属于相当落后的蛮夷之地，秦始皇派兵平定岭南之后，中原地区的文化进入了岭南地区，岭南地区的文明才得到了开发。由此可见，秦朝之前不存在中原人向岭南移居的问题，只有秦始皇统一岭南后，岭南地区与中原地区融为一体，南北交往大门正式打开，才使北方人有条件迁入岭南。“赵佗是南下干部第一人”，秦始皇平定、治理岭南时的将士戌卒及官吏和他们的家属，是北方人向岭南移居的第一批移民。这批人来到岭南之后不久，中原地区即发生了陈胜、吴广的起义，当时的南海尉赵佗为防岭南地区出现动乱，拥兵关隘，封闭南北通道，建立南越国，自封南越王。南越国存在近百年，来自中原地区的秦朝将士戌卒及官吏和他们的家属只能滞留在岭南地区安居生息。到汉武帝时，南越国归并汉朝，这些人留下的子孙也不可能再回到北方，名符其实地成为做客他乡之人。所以，秦朝是客家文化和客家民系的起源时期，当时所留下的将士戌卒及官吏和他们的家属，是岭南地区最早的客家人。
第二阶段是异变阶段
秦朝的将士戌卒及官吏和他们的家属留居岭南，当时虽然客居他乡，但并不是现在意义上的客家人。作为一个有一定人口规模，有独特文化特征的独立民系的产生和形成，其必须经历过一个漫长的异化演变过程，只有这样，才能既把一个地区的土著人同化过来，又不具移民的全部特征。秦、汉、唐三个朝代，是住在岭南地区的北方人向客家人异化演变的重要阶段。 这种演变是以秦朝留在岭南的将士戌卒和他们的家属为主体的，他们以军营为生活圈，有继续保持北方人的语音和生活习俗的群体条件，但他们因长期生活在岭南，不可能不受当地土著人的语音和生活习俗影响，尤其是以后随着一些土著人被充实到军队，军队已不再是由纯粹的北方人所组成，当地土著人的语音和生活习俗也就更多地渗透到军营中，久而久之，这种以北方人为主体的军营生活群体，语音和生活习惯也就有所变化，成为一支既有北方人语音和生活特征，又有所退化异变，不完全与北方人语音和生活习俗相同的独特群体。这种群体的形成，为今后客家民系的最终形成奠定了重要基础。
第三阶段是形成阶段
在中国历史上，有几次大规模的北人南迁，据史料记载，其中一次是三国至南北朝，尤其是南北朝“五胡乱华”之时，不少中原人为避战乱而南迁；另一次是隋唐时期，因北方匈奴及其他外部入侵，加上唐末发生黄巢起义，致使大量北人离乡背井，避乱南方；再一次是宋朝期间，先是宋室南迁，由北宋转为南宋，再后来忽必烈派兵驰驱南下，南宋朝庭又从长江边退到广东，许多中原人民和大批的皇室贵宦及商贾文人随朝庭来到了南方；还有一次是元末明初，因政权更换，中原地区的许多民众再一次为避战乱南迁。这几次大规模的北人南迁，可以说，隋唐以前的南迁北人都是以平民为主的，人数居多，却缺乏文化底蕴，宋元之后的北人南迁则不同，他们除了一般平民外，还有不少官宦人家、文人骚客和仁人志士，特别是宋朝，当时中原文化非常繁荣，北人南迁是随官府朝庭不断南移而进行的，他们不仅人来到南方，还带来了浓厚的中原文化。所以，隋唐之前的中原人来到南方，为客家人的数量起了壮大的作用，但因缺乏文化因素，难以形成自己的特色民系文化。宋元之后，随着一些望门贵族和文人骚客来到南方，即使客家壮大了规模，又使客家提升了社会地位和文化品位，促使客家民系和客家文化的最终形成。据史料考证，客家人正式定称于宋朝，在宋朝的户藉立册中，凡是广府语系和潮洲语系的人都列入主册，北方来的人都列为“客藉”。这就说明，客家民系和客家文化的最终形成于宋代。
第四阶段是外迁阶段
现在，全国和全世界各地都有客家人，追根溯源，这些客家人都是从岭南地区迁移出去的。其中明清时期是客家外迁的重要时期。客家人外迁有五个原因：一是因生活所迫，为求新的生存空间。宋元之后，岭南地区客家人爆满，但又无法在潮洲平原和珠三角地区扩展，只好外迁到其他省份，或漂详过海到海外谋生；二是为避难而外迁。这方面的因素以太平天国起义失败以后的一段时间为甚，太平天国起义队伍有不少客家人，太平天国失败后许多客家人为避难逃离原藉地，到其他省份的一些穷乡僻壤避难。三是从军从政落居外地。如台湾的客家人，他们的先祖有的是随郑成功收复台湾时去台湾的，有的是随乾隆年间武状元李威光剿海盗时留居台湾的。四是由官府组织外迁。如四川的客家人，他们的先祖多数是清朝“湖广填川”时而迁到四川落居的。五是从商外迁的。明清期间一些客家人到一些地方从商，在一些地方形成了经商群体。