Caminin, Emevî Kumandanı Mesleme b. Abdülmelik tarafından 97-99 (716-717) yılları arasında yapılan İstanbul kuşatması sırasında inşa edildiği yolundaki rivayetin aslı olmadığı bilinmektedir. Bizans’ın müslümanlar için yapılmasına müsaade ettiği mescidin ise şehrin içinde olduğu anlaşılmaktadır. Galata’da VI. yüzyıla ait Aya İrini (Hagia Eirene) Kilisesi’nin kalıntıları üstünde, İstanbul’da Latin hâkimiyeti yıllarında (1204-1261), muhtemelen Katolikler tarafından San Paolo adında bir kilise yapılmış, fakat kesin olarak XIV. yüzyıl başlarında bu yapı Dominiken tarikatı mensuplarının eline geçerek aynı yerde büyük bir manastır ile San Paolo ve San Domenico adına yeni bir kilise inşa edilmiştir. XIV ve XV. yüzyılın ilk yarısında pek çok İtalyan buraya gömülmüştür.