元代之前，“回纥”、“回鹘”和“回回”，这三个词在的汉语文献中没有明确的界限，几乎是同义词，在不同作者的汉文史籍中通常是交替混用，所指囊括了西域、漠北胡人直至中亚和波斯一带人群，用回回一词称呼来自回鹘地带还往西的人则显得更多一些。宋元时期，分布在中东部的回回（粟特、犹太、波斯等胡商成分较多）以及部分回纥、回鹘被称为回回人；而分布在漠北一带的部分回鹘、回纥或回回，则联合当地一些民族西迁后形成畏吾儿，还有的发展成为塔吉克、乌兹别克等西域民族。此际，胡人、回鹘、回纥这类称谓，在史书记载中基本消失。“回回”一词明朗起来，在官方的诏谕和汉文记载中凡涉及到民族的一般为“蒙古、畏兀儿、回回、也里可温、河西、契丹、女真、汉人”这类字样。
元代“回回”在官方或汉语史籍中除了指已经定居在中国境内的回回人外，通常也指的是比“畏吾儿”更西的人群，也就是“葱岭以西、黑海以东”——阿富汗、乌兹别克斯坦、塔吉克斯坦、伊朗、吉尔吉斯斯坦、土库曼、阿塞拜疆以及哈萨克斯坦、伊拉克、土耳其和高加索部分地区。宋元以至明清期间，除了明代的撒拉等族外，凡是从这一地区入华的商人、工匠、军士、学者等几乎都自然的归入回回人里。历史长河中，这一地带分分合合，时而统一为一个国家，时而分裂为诸多小国，虽然不同国家不同族群在语言和文化的细部上存有差异，但整个文化面貌和人种上则大体一致，也都有禁食猪肉等古老的西域民族传统。