La pequeña mezquita de Santa Sofía está situada en el distrito de Eminonu y en el barrio de Kumkapi, a una corta distancia del mar de Mármara, cerca de las ruinas del Gran Palacio y al sur del hipódromo. Ahora está separada del mar por el Sirkeci-Halkali el cual es una línea de ferrocarril y la carretera costera. La pequeña mezquita de Hagia Sophia es una antigua iglesia ortodoxa dedicada a los Santos Sergio y Baco de Constantinopla entre los años 531 y 536 creada por el emperador bizantino Justiniano, y más tarde convertida en mezquita durante el Imperio Otomano.
Este edificio originalmente bizantino se construyó en el siglo 6 y es considerado uno de los edificios bizantinos más importantes en Estambul. Tiene un plan de cúpula central y era un modelo después seguido por la iglesia de Santa Sofía, la iglesia principal del Imperio Bizantino. La fuerte semejanza de la estructura externa de la Iglesia de Santa Sofía, hizo creer a muchos que el edificio había sido diseñado por los mismos arquitectos que diseñaron Hagia Sophia, es decir, Isidoro de Mileto y Antemio de Tralles. Incluso fueron más allá al afirmar que su construcción era una especie de pequeña escala de la versión de prueba para la de la iglesia más grande del Imperio Bizantino. Sin embargo, los detalles del edificio son bastante diferentes en términos de arquitectura de la iglesia de Santa Sofía y por lo tanto el concepto de semejanza ha sido ampliamente desacreditado.
Durante la época otomana, durante el reinado de Bayaceto II, el edificio fue convertido en mezquita por Hüseyin Ağa, el jefe de la Aghas, (Negros eunucos), quienes fueron los custodios de la Bab-i-Saadet (literalmente, la Puerta de la Felicidad en otomano turco) de la residencia del sultán, el famoso palacio Topkapi. Asimismo, el pórtico y las madrazas se agregaron al edificio después de la conversión. En 1740, una fuente sadirvan fue añadida a la construcción por el Gran Visir Hacı Ahmed Pasha. Un minarete del edificio fue construido en 1762 que luego fue demolido en 1940 y construido nuevamente en el año de 1956.
El edificio antiguo estaba en peligro por las amenazas a su integridad a causa de los terremotos, la decadencia natural que vino con los años y otros factores, y, finalmente, la estructura fue añadida a la lista de vigilancia de la UNESCO junto a la mayoría de los 100 Sitios en Peligro Monumental en 2002, 2004 y 2006. Finalmente trabajos de restauración fueron llevados a cabo, lo cual duró varios años y terminó en septiembre de 2006, cuando el edificio se volvió a abrir al público de nuevo como lugar de culto.