“回回”一词最早在北宋沈括《梦溪笔谈》和南宋彭大雅《黑鞑事略》中出现，主要指葱岭东、西处于喀喇(哈拉)汗朝统治下的回纥(回鹘)人。回回和回纥、回鹘音近，应是后者的音转或俗写。其时，伊斯兰教已由喀什噶尔向东南传播到和田、叶尔羌、英吉沙尔等地。因此，回回原应包括有信仰伊斯兰教回纥(回鹘)人在内的含义。12世纪30年代，喀喇(哈拉)汗朝亡于西辽，其居民大部分仍是穆斯林。13世纪初叶蒙古西征，西辽破灭。葱岭东喀什噶尔等地信仰伊斯兰教的回纥(回鹘)人的后裔，同葱岭西的中亚及波斯；阿拉伯广大地区不同民族的穆斯林，大批被签发或自动迁徙到东方来。他们主要以驻军屯牧和以工匠、商人、学者、官吏、掌教等不同身份散布在中国的西北、中原及江南、云南等地区，被称为回回人，成为元代色目人中的重要部分。后来，他们也以回回自称，是形成回回民族的主要部分。元代到明代前期，回回人中包含有信仰伊斯兰教的回纥(回鹘)人的后裔，他们同当时高昌及河西一带仍信仰佛教的畏兀儿人相区别，明中叶以后，维吾尔族普遍接受伊斯兰教信仰，而当维吾尔人迁到内地之后，自然地渐渐同化于回回之中。元、明以来，不少蒙古贵族及其士卒因接受伊斯兰教信仰而逐渐同化于回回之中。明代哈密地区的哈剌灰人，原是蒙古人，正德(1506～1521)以后由哈密迁到肃州，到万历年间已经“不食猪肉，与回回同俗”。
另外，由于通婚的和政治的原因，以及接受宗教信仰和风俗习惯的原因，回回中不断吸收了相当多的汉族成分。由于同样原因也有不少回回逐渐同化于汉族之中。回族与维吾尔、蒙古、汉等族有着源远流长的亲缘关系。另外，回回族中还吸收有中国犹太人成份。犹太人迁居我国开封等地的时间，一般认为在北宋徽宗年间(1101一1125)。元代称他们为“术忽回回”。由于他们信仰犹太教，不食猪肉，行割礼和每日礼拜等宗教习俗与回回有相似之处，加上举行宗教仪式时所缠头巾为青蓝色，因而也被称为“蓝帽回回”或“青回回”。在长期发展中，有的逐渐融合于回回当中，各种不同的来源的回回逐渐形成为一个新的民族。伴随着民族的形成，具有本民族特点的回回文化扎根于华夏大地，成为华夏文化中的一个新类型。