Aunque esta localidad abulense goce de pasado celta, latino y árabe, su origen está ligado a una leyenda medieval. Dicen las gentes lugareñas que allá por el siglo XII andaban por el monte de la zona unos caballeros. Para su sorpresa, entre los arbustos hallaron un caserío de piedra abandonado, y como no quisieron perder de ubicación dejaron el camino de vuelta jalonado por pedruscos que volvieran a conducirlos hasta el lugar en otra ocasión. Más tarde regresaron, pero acompañados de sus mujeres, hijos y criados y allí se establecieron.
En el año 1439 don Álvaro de Luna, condestable de Castilla, concedió esta villa a la Casa de Alba y esta familia estableció en Piedrahíta la cabeza de sus señoríos.