Atravesando el patio de la sinagoga Pinkas se llega al viejo cementerio judío (cuyo nombre en checo es Starý zidovský hrbitov), un lugar muy recomendable para conocer. Teniendo en cuentan la cantidad de turistas que lo visitan a diario, se ha colocado una pasarela que marca un recorrido concreto por las tumbas más interesantes, saliendo por la Casa de Ceremonias. Como sucede a menudo, es recomendable acudir a primera hora de la mañana, cuando la gente todavía no se ha agolpado y la luz no es tan directa.

No es necesario entrar al recinto para observarlo; desde la escalera de la Casa de Ceremonias o desde una de las rejas traseras es posible hacerlo. En este lugar se reúnen más de 12.000 lápidas que forman un improvisado conjunto artístico, ya que no se trata de un cementerio monumental, sino más bien una acumulación de tumbas con modestas lápidas y sencillos grabados. El espacio del cementerio se quedó pequeño, ya que los judíos no desentierran a sus muertos, lo que provoca que las nuevas tumbas se agolpen entre los huecos de las anteriores (las lápidas más antiguas sí se iban retirando). También hay que tener en cuenta que los más pobres no podían permitirse pagar una lápida, por lo que simplemente se les enterraba. Los más ricos y famosos contaban con mausoleos, como el rabino Löw. En total se calcula que hay más de 100.000 tumbas en el cementerio.

Pueden encontrarse lápidas desde 1439 hasta 1787, sirviendo como testimonio de la vida y la historia en el barrio judío. Los estilos y materiales varían de una época a otra, siendo las antiguas más fáciles de diferenciar, ya que eran más sencillas y eran de arenisca oscura; las barrocas eran de mármol rosado o blanquecino. En la época rococó, la última, se pueden observar decoraciones de figuras humanas estilizadas. Otras muchas lápidas tienen en su decoración símbolos relacionados con el nombre del difunto: el nombre de Levy o Löw se asociaba con un león; Maisel con un ratón; el osos para Dov; también relacionados con la profesión o el estado civil de la persona en cuestión. Una costumbre que tienen los judíos es la de dejar pequeñas piedras sobre las lápidas, como homenaje a aquellas que tenían que depositar durante la bíblica travesía del desierto, ya que no tenían flores u otra cosa que dejar.

Una de las tumbas más visitadas es la ya mencionada del rabino Löw, en la que los judíos suelen esconder pequeños papelitos con mensajes escritos en los que piden deseos al famoso personaje. Al lado de esta tumba se encuentra la de su nieto, siendo también conocidas la del escritor David Gans y la del médico Salomón del Medigo, de origen sefardita. A los niños se les enterraba en un promontorio llamado Nefele, que se ubica cerca de la Sinagoga Klausen. Delante de este pequeño cementerio se alza la tumba de Aaron Horovský, constructor de la sinagoga Pinkas, y la de su bisabuelo, el conocido rabino Pinkas, del siglo XV. Otro de los laterales del cementerio comparte muro con el Museo de Artes y Oficios, construido en el año 1897 cuando se expropió un pedazo del recinto.