Villa de indudable valor histórico debe su nombre a las cerca de cien torres que antaño se repartían a lo largo de su muralla, de las cuales sólo se conservan, casi en ruinas, veintitrés. En el seno de esos muros nacieron Isabel la Católica -que convocó Cortes en la villa, el año 1.476-; Alonso de Madrigal, "El Tostado" -1.400-1.455-, obispo de Ávila; Vasco de Quiroga -1.470-1.565-, obispo de Michoacán -México-; y Gaspar de Quiroga -1.499-1.594-, cardenal e inquisidor general, autor del tristemente conocido "Índice de libros prohibidos" -1.583-.