La historia del Monte Koya se remonta unos 1.200 años atrás, cuando en el año 816 fue establecido por el monje Kūkai un refugio lejos de las intrigas cortesanas de Kioto al siglo IX, cuando se estableció un retiro monástico en la cima de la montaña para servir a los miembros de la secta budista Shingon. Hoy en día es uno de los lugares más atmosféricos y tranquilos que se pueden visitar en Japón.
El Monte Koya está situado en un valle de 800 metros de altura en medio de los 8 picos de la montaña. El monasterio original se ha convertido en la ciudad de Koya, con una universidad dedicada a los estudios religiosos y más de 100 templos, muchos de los cuales ofrecen alojamiento a los peregrinos.
También es el sitio del mausoleo de Kobo Daishi y el punto de inicio y final de la Peregrinación del Templo Shikoku 88.
Kobo Daishi comenzó a construir el complejo original del templo de Garan en el año 826 después de vagar por el país durante años en busca de un lugar adecuado para predicar su religión. Desde entonces, más de cien templos han surgido a lo largo de las calles de Koyasan. Los más importantes son Kongobuji, el templo principal del budismo shingon, y Okunoin, el lugar donde se encuentra el mausoleo de Kobo Daishi.
Koyasan es también uno de los mejores lugares para pasar la noche en un alojamiento en el templo (shukubo) donde se puede probar el estilo de vida de un monje, comer la cocina vegetariana de un monje (shojin ryori) y asistir a las oraciones de la mañana. Alrededor de cincuenta templos ofrecen este servicio tanto a peregrinos como a visitantes.
En 2004, la UNESCO designó el Monte Koya como parte de un sitio de Patrimonio Mundial más amplio.