第一次南迁是在秦始皇时代。公元前221年秦始皇统一中国后，为了政治和军事的需要，派兵60万人“南征百越”。南下的秦军，从闽粤赣边入抵揭岭（即揭阳山，今揭阳县北150里），直抵兴宁、海丰二县界。公元前214年，秦始皇再派50万兵丁“南戍五岭”（今两广地区）。这些兵丁长期“戍五岭，与越杂处”。秦亡后，两批南下的秦兵都留在当地，成为首批客家人。
第二次南迁是在东晋“五胡乱华”时期。当时，为了避难，一部分中原居民辗转迁入闽粤赣边区。稍后，由于南北对峙，又有大约96万中原人民南迁至长江中游两岸。其中一部分人口流入赣南，一部分经宁都、石城进入闽粤地区。
第三次南迁是在唐末黄巢起义时期。先是唐朝安史之乱，给百姓带来巨大灾难，迫使大量中原汉人南逃。唐末黄巢起义，又有大批中原汉人逃入闽粤赣区。如宗室李孟，由长安迁汴梁，继迁福建宁化古壁乡。固始人王绪、王潮响应黄巢起义，率光、寿二州农民起义军五千下江西，致使闽赣边一带人口激增。
第四次南迁是宋南渡及宋末时期。金人入侵，建炎南渡，一部分官吏士民流移太湖流域一带。另一部分士民或南渡大庚岭，入南雄、始兴、韶州；或沿走洪、吉、虔州，而后由虔州入汀州；或滞留赣南各县。南宋末年，元军大举南下，又有大量江浙及江西宋民，从蒲田逃亡广东沿海潮汕至海南岛。
第五次南迁是在明末清初时期。其时，生活在赣南、粤东、粤北的客家人因人口繁衍，而居处又山多地少，遂向川、湘、桂、台诸地以及粤中和粤西一带迁徙。这次大规模的迁徙，在客家移民史上被称作“西进运动”。四川的客家基本上来源于这次“西进运动”。当时四川人口因战乱、瘟疫及自然灾害锐减，清政府特别鼓励移民由“湖广填四川”。
第六次南迁是19世纪中叶太平天国时期。当时为避战乱，有一部分客家人迁徙到南亚，有的被诱为契约劳工，被押往马来西亚、美国、巴拿马、巴西等地。