回族的“回”字，是沿用伊斯兰教在中国的旧称“回回教”中的“回”，回字“大口里有小口”，取该字意在告诫人们要言行一致，而且这与伊斯兰教的信仰——“口舌承认，心里诚信（穆罕默德奉安拉之命的宣教）”是相符合。所以从文字的演化上讲，回族的“回”在意思上其范围缩小了。
隋唐时期的胡人、蕃客、胡商，实际主要是指来自波斯和中亚地区的人群（可参见《太平广记》等唐代的记载），这些胡人有侨居也有定居，定居所住的地方叫“蕃坊”，这就是回族习惯把聚居地称为“回坊”的来由。侨居的则来往于丝绸之路和香料之路从事商业活动，从事经商的胡人蕃客，会选择寒冷季节到来前赶回去，气候转暖时再回来。回族民间有说法认为，这是被汉语人群称做“回”或“回回”的原因。国内史学界则多认为是“回回”是“回纥”、“回鹘”的异写或音转。唐代的在华胡人中，还有波斯和中亚小国的一些王族和平民，他们是为躲避阿拉伯人的侵略，逃亡而来。《四夷馆考》中说到：“回回在西域，地与天方国邻”。