En el corazón del Casco Viejo, se dice que el pequeño templo de Bach Ma es el más antiguo de la ciudad, aunque gran parte de la estructura actual data del siglo XVIII y en 1839 se añadió un santuario a Confucio. Fue construido originalmente por El emperador Ly Thai To en el siglo XI para honrar a un caballo blanco que lo guió a este sitio, donde eligió construir las murallas de su ciudad.
Se puede pasar a través de las maravillosas puertas de madera de la pagoda para ver una estatua del legendario caballo blanco, así como un hermoso palanquín de funeral laqueado en rojo, un santuario para Confucio y un Altar Fénix para las ofrendas a las cuatro estaciones. El templo de Bach Ma todavía es utilizado activamente por los fieles que van allí a quemar incienso y rezar, es un templo pequeño bien mantenido que se puede acceder fácilmente y ofrece la oportunidad de ver a los lugareños practicar sus creencias. La entrada es gratuita.