Wat dit altaarstuk ook zo bijzonder maakt is alle mystiek die er mee gepaard gaat. In al die jaren dat het bestaat, ruim 500 jaar, is er veel mee gebeurd. In 1566, tijdens de beeldenstorm, werd het werk in de toren van de toenmalige Sint-Janskerk verborgen. Verschillende branden; in 1640 en 1822. Ook in oorlogen werd het stuk verstopt of verhuisd. Het meest opmerkelijke is toch wel dat in 1934 dit paneel van de “Rechtvaardige rechters” en nog een ander paneel werden gestolen om er de bisschop van Gent mee af te persen. De ontvoerders lieten één paneel terug vinden om zo hun eis van het losgeld voor het andere paneel kracht bij te zetten, maar de procureur des Koning van Gent weigerde te onderhandelen met dieven. Dit paneel is tot op de dag van vandaag nooit terug gevonden. Wat je ziet is een kopie van het origineel en er doen nog steeds vele geruchten de ronde waar dit paneel gebleven is.