«Οι φυλακές πρέπει να κτίστηκαν γύρω στο 1714 από τον Τούρκο Διοικητή του Νομού, Ιτζεδίν, απ' όπου και πήραν το όνομά τους. Οι φυλακές ήταν για βαρυποινίτες του κοινού ποινικού δικαίου. Αυτό φαινόταν από τα σκοτεινά κελιά της απομόνωσης, όπου σε πολλούς τιμωρημένους κρατούμενους έδεναν το ένα πόδι με χοντρή αλυσίδα, που στην άκρη ήταν δεμένο ένα σιδερένιο βόλι που δεν επέτρεπε να κινείται ελεύθερα και να μπορέσει να δραπετεύσει».
Στον περίγυρο της φυλακής υπήρχαν και σώζονται ακόμα, σε μικρές αποστάσεις η μία από την άλλη, σκοπιές των φυλάκων, που όπως λέγετε κάθε μια ώρα φώναζαν «φύλακες γρηγορείτε!» για να μένουν ξύπνιοι.
Η αρχιτεκτονική και η ιστορία και μόνο του κτιρίου είναι ικανή για να χαρακτηριστεί και να αξιοποιηθεί ως μνημείο. Μάλιστα, αυτό το κτίριο έχει εμπνεύσει και τον κόσμο της τέχνης, μια που, όπως πληροφορηθήκαμε, αυτό διάλεξε ο Παντελής Βούλγαρης για να γυρίσει σκηνές της ταινίας του «Τα πέτρινα χρόνια».
Στις φυλακές αυτές κρατήθηκε ο παλαίμαχος κομμουνιστής Στέλιος Παπαδομιχελάκης, από το Μάραθο Ηρακλείου, όπου το ΚΚΕ τον είχε χρίσει υποψήφιο Γερουσιαστή. Μαζί του κρατούνταν και άλλοι πολιτικοί κρατούμενοι.
Την περίοδο της κατοχής και τα πρώτα χρόνια του εμφυλίου πολέμου, οι φυλακές δε λειτουργούσαν εξαιτίας της έντονης δραστηριότητας που είχε αναπτύξει ο Δημοκρατικός Στρατός στο νομό. Οι Γερμανοί λειτούργησαν στην κατοχή τις φυλακές της Αγιάς (που λειτουργούν ακόμα και σήμερα), στις οποίες οι συνθήκες ήταν πολύ σκληρές.