Το σπίτι που έμεναν οι εξόριστοι στο Καστρί, προίκα της παπαδιάς - τ' άλλα ήταν του παπά και του προέδρου - δεν ήταν όπως τα κοινά φτωχόσπιτα στ' άλλα νησιά. Μαντρωμένο και συρματοπλεγμένο και γύρω - γύρω η φρουρά. Στο ισόγειο κοιμούνταν οι άνδρες και στο πρώτο πάτωμα είκοσι αγωνίστριες. Δηλαδή, κανονική φυλακή. Τρεις φορές τη μέρα έδιναν το «παρών» στην Αστυνομία.
Στο Σαρακήνικο, έμεναν δέκα περίπου εξόριστοι φυματικοί και βαριά άρρωστοι. Αυτοί ξεκίνησαν να χτίζουν το «σπίτι» για να υπάρχει κάτι δικό τους. Να συνεχίζεται η παράδοση, να μη χάνεται η συνέχεια... Ανάμεσά τους κι ο Αρης Βελουχιώτης, που μεταφέρθηκε για πρώτη φορά στη Γαύδο στις 23 Οκτώβρη 1931, μαζί με άλλα 70 μέλη και στελέχη του ΚΚΕ.
Ετσι, λοιπόν, άρχισαν να συγκεντρώνουν πέτρες και σιγά σιγά να χτίζουν το «σπίτι» τους. Μάλιστα, φρόντισαν να του δώσουν και τον «κρητικό ρυθμό»! Δηλαδή, ακολούθησαν την αρχιτεκτονική παράδοση, η οποία, στις μέρες μας, άρχισε ήδη να χάνεται κι απ' τα χωριά ακόμη της μεγαλονήσου.
Ωστόσο, σήμερα, έχουν γίνει παράνομες κτιριακές επεμβάσεις στο αρχικό κτίσμα (προσθήκες δωματίων, πέργκολες κλπ.) και μετατράπηκε σε ταβέρνα, με την ανοχή των αρμόδιων κρατικών υπηρεσιών (Πολεοδομία Χανίων, Εφορία Νεωτέρων Μνημείων, Διεύθυνση Λαϊκού Πολιτισμού, Αστυνομία κλπ.). Αυτά επέφεραν τέτοια αλλαγή στο «Σπίτι του Αρη», ώστε η εικόνα που παρουσιάζεται στα μάτια του σημερινού επισκέπτη να μην έχει καμιά σχέση με αυτό που υπήρχε.
Ενα παράδειγμα: Στον κορμό του κέδρου που στηρίζει τη στέγη του «Σπιτιού του Αρη», ήταν χαραγμένα, μέχρι πριν λίγα χρόνια, τα ονόματα των αγωνιστών που πέρασαν απ' τη Γαύδο. «Κάποιοι» σκόπιμα έξυσαν με εργαλείο τα ονόματα κι ό,τι άλλο «σημαδιακό», απ' τη ζωή των εξόριστων, ήταν χαραγμένο πάνω στον κορμό του κέδρου, για να σβήσουν την ιστορική αλήθεια...
Κι είναι γνωστό ότι η ισχύουσα νομοθεσία απαγορεύει οποιαδήποτε επέμβαση σε «χαρακτηρισμένα» κτίρια (επισκευή, συντήρηση. προσθήκη κλπ.), χωρίς προηγούμενη έγκριση της αρμόδιας υπηρεσίας του ΥΠΠΟ.
Οι αλλαγές στη χρήση του κτίσματος έγιναν κατά παράβαση της σχετικής απόφασης του υπουργείου Πολιτισμού, η οποία αναφέρει καθαρά τα εξής:
«...Χαρακτηρίζεται Ιστορικό Διατηρητέο Μνημείο το κτίριο που κατασκευάστηκε απ' τον Αρη Βελουχιώτη και τους συνεξορίστους του στην περιοχή Σαρακήνικο της νήσου Γαύδου, ιδιοκτησίας Στ. Καρυδάκη, με τον περιβάλλοντα χώρο στα όρια της ιδιοκτησίας, διότι αποτελεί χαρακτηριστικό δείγμα κτιρίου τοπικής αρχιτεκτονικής και είναι σημείο αναφοράς για τους κατοίκους του νησιού, εφόσον συνδέεται άμεσα με τον Αρη Βελουχιώτη και άλλα πρόσωπα της Νεότερης Ελληνικής Ιστορίας».