Estas tierras fueron habitadas por distintos pueblos: los ilergetes, los romanos -formó parte de la Riparcutia-, los árabes... Estos últimos fueron derrotados por Sancho Ramírez en el año 1083, tras haber sido asediada anteriormente por Bernardino Unifredo y por Ramiro I.
Graus fue nombrada residencia del Justicia Mayor. En el año 1428 Alfonso V concedió a la villa el derecho a acogerse a los Privilegios Generales del Reino.
Las tropas de Felipe V saquearon la ciudad durante la Guerra de Sucesión.
Algunos de los personajes célebres que residieron aquí fueron Baltasar Gracián -quien pasó algún tiempo en el colegio jesuita-, el inquisidor Torquemada -su familia era de aquí- y el regeneracionista Joaquín Costa.