Situado al norte del actual primitivo, en el antiguo emplazamiento de la iglesia de St-Stephens (église St. Etienne), se pueden observar las reliquias de varios edificios que fueron fundados en este lugar desde el siglo IV. Hay balnearios galorromanos, un baptisterio cristiano primitivo y un antiguo arco de la iglesia de Sainte-Croix construido en el siglo XV.
Durante los años 70, parte de los restos, descubiertos durante una excavación de rescate, fueron restaurados y luego conservados en este jardín creado para la ocasión.
Las iglesias de Saint-Etienne y Sainte-Croix fueron ampliadas varias veces antes de su destrucción durante la Revolución. En los orígenes de la iglesia Saint-Etienne, el baptisterio construido es uno de los más antiguos de la Galia. El volumen de algunas partes del edificio se fue reduciendo gradualmente para adaptarse a la evolución de la liturgia del bautismo cristiano temprano. A finales de la Antigüedad, los monumentos romanos se utilizaron como canteras para la construcción de edificios cristianos: a lo largo del Saona, en los cimientos de la muralla del siglo IV, se descubrieron varios bloques resultantes del desmantelamiento de un monumento construido en honor de una familia gala.
En este pequeño jardín junto a la Catedral de San Juan destacan los restos arqueológicos del antiguo grupo episcopal. Se pueden admirar los restos del primer baptisterio cristiano del siglo V, hay varios cimientos de los distintos edificios que se sucedieron aquí y un arco de la nave de la Santa Cruz.
Este lugar muy romántico, que recuerda a los jardines en ruinas pintados por tantos artistas, está abierto las 24 horas del día!
Este lugar tranquilo y relajante acoge a menudo a fiesteros y otros músicos durante eventos como la Fiesta de la Música o la Fiesta de las Luces.