Bu mescidin ilk ismi Beni Seleme mescididir. Müslümanlar Mekkede iken Kudusteki Mescidi Aksaya yönelerek namaz kılarlardı. Peygamberimizin Medine’ye hicretinden 15-16 ay gibi bir zaman sonra inen ayet üzerine Kabe’ye yönelindi . Müslümanlar arasında yaygın olan inanç, Hazreti peygamber S.A.V. seleme oğulları kabilesini ziyarete gittiğinde bu mescidin olduğu yerde namaz kıldırırken, "yüzünü mescidi haram tarafına çevir." ayeti kerimesi nazil olmuş, Hz. Peygamber de namazda Kabe tarafına yönelmiş ve bir namazda iki kıbleye yöneldiği için bu mescide Kıbleteyn mescidi, yani iki kıbleli mescid adı verilmiştir.