La Gran Mezquita fue la primera mezquita construida en el corazón de la ciudad de Sfax. Fue erigido en el año 235 H. (849) bajo la dinastía aglabí, inspirado en la primera gran mezquita construida en la ciudad de Kufa, Irak ciudad fundada por los árabes bajo la orden del califa Umar Ibn Al Jattab .
Fue el centro de la propagación del sunnismo en la región. Enseñó el dogma asharita, la jurisprudencia malikita y la exégesis del Corán y el Hadith. Muchos estudiosos de Túnez pasaron por este noble recinto incluir entre ellos a los imanes Ali Nuri Año, Abd Ul Aziz Al Furati, Ibrahim Al Mzughni o Muhammad Al Muaddab Ash Sharafi (que Allah tenga piedad a todos ellos).
La fachada oriental, cuidadosamente decorada, se caracteriza por la presencia de varias puertas y ventanas coronadas por arcos de herradura con triple arco. Los nichos huecos ocupan las partes superiores. Todos estos elementos están subrayados y unificados por una cornisa serrada. En la fachada este se encuentran dos inscripciones en escrituras cúficas: una de ellas tallada en relieve, fechada en 988, está ubicada al nivel de la tercera ventana comenzando desde la qibla; la otra inscripción, fechada en 1085, está ubicada al nivel del tímpano de la última puerta desde la qibla. La relación de esta fachada con la de la mezquita Sidi Ali Ammar en Sousse. Sobre el dintel de una de las ventanas hay un plato de mármol bizantino que se ha utilizado; representa dos pavos reales, ahora mutilados, que chocan a ambos lados de una canasta . La entrada al santuario se realiza actualmente a través de una puerta lateral en el lado norte.

El patio interior de la mezquita, de tamaño relativamente pequeño, está rodeado en sus cuatro lados por pilares cruciformes con herradura y arcos rotos. Las columnas colindan con los pilares y realzan la sobria elegancia del conjunto. Las galerías están cubiertas con bóvedas de arista separadas por costillas de herradura. Que en el lado sur del patio se distingue por un porche de proyección coronado por una cúpula cuya tapa se coloca directamente en la base cuadrada, roto por cuatro nichos en las esquinas.

En la esquina noroeste del edificio se encuentra el minarete. Tiene una base cuadrada y está construida de piedra cortada,la altura del minarete alcanza los quince metros. Su aspecto recuerdan el minarete de la Gran Mezquita de Kairuán, que se distingue por su fachada refinada consiste en una fila de discos coronada por una espléndida escritura cúfica florida terminando con piedras cortadas en pedazos cinco lóbulos.