La mezquita fue diseñada en 1954 por Frederich Silaban, un arquitecto cristiano del norte de Sumatra, fue construida en 1961 y fue inaugurado en 1978 al público por el primer presidente de Indonesia, Sukarno. Es la mezquita más grande en el sudeste asiático y es propiedad del Secretario de Estado de Indonesia con el Ministerio de Asuntos Religiosos de la República de Indonesia.
Está ubicada en Jalan Taman Wijaya Kusuma en el centro de Yakarta en la esquina noreste de la Plaza Merdeka , cerca de la Catedral de Yakarta.

Hoy en día, esta mezquita se ha convertido en la mezquita más grande del sudeste asiático con capacidad para alrededor de 120,000 fieles y tiene 4 niveles de balcón con una cúpula de 45 metros de diámetro y una gran sala de oración rectangular sostenida por 12 enormes columnas cubiertas por placas de aluminio.