A pesar de que los romanos estuvieron aquí, tal y como muestra el hallazgo de un mosaico con la inscripción Salvo Vitales Felix Turissa, no es hasta el 966 cuando la ciudad aparece citada con motivo de la cesión, por parte del Conde de Barcelona, del alodio de Tossa al abad de Ripoll. En el siglo XII se levantó una fortaleza y el abad de Ripoll concedió a la localidad una carta de población. El castillo sirvió hasta comienzos del siglo XIX para defender a la localidad de los ataques de los piratas, hasta que la torre principal pasó a convertirse en un molino. En la actualidad, en su lugar se levanta el faro.