Τον Απρίλη του 1954 επιστρέφει παράνομα στην Ελλάδα. Συλλαμβάνεται στις 27 του Ιούλη. Το Μάη του 1960 δικάζεται στη μεγάλη δίκη στο στρατοδικείο. Στις 20 του Απρίλη 1966 αποφυλακίζεται με όρους. Συλλαμβάνεται ανήμερα του απριλιανού πραξικοπήματος και εξορίζεται μέχρι και την άνοιξη του 1971. Μετά τη διάσπαση του Κόμματος το 1968, συμβάλλει αποφασιστικά στη μάχη για την επικράτηση των αποφάσεων της 12ης Ολομέλειας. Τον Ιούνη του 1972, η 16η Ολομέλεια τον εκλέγει μέλος του ΠΓ της ΚΕ του ΚΚΕ. Στη 17η Ολομέλεια, το Δεκέμβρη, εκλέγεται Πρώτος Γραμματέας της ΚΕ του Κόμματος.
Στο 9ο Συνέδριο του Κόμματος το 1973 επανεκλέγεται Α΄ Γραμματέας της ΚΕ. Στο 10ο Συνέδριο (1978), στο 11ο (1982) και στο 12ο (1987) ο Χαρίλαος επανεκλέγεται ΓΓ της ΚΕ. Το 1989, τον Ιούλη κρίνει πως ήρθε το πλήρωμα του χρόνου για αλλαγή του Γραμματέα του Κόμματος. Ο ίδιος εκλέγεται Πρόεδρος της ΚΕ του ΚΚΕ.
Το Φλεβάρη του 1991 πραγματοποιείται το 13ο Συνέδριο του Κόμματος, που οδήγησε στη διάσπαση του Κόμματος, που προκάλεσε η φραξιονιστική ομάδα στελεχών, η οποία έφυγε από το ΚΚΕ προς τον ΣΥΝ. Ο ρόλος του Χ. Φλωράκη και στη διάσωση του ΚΚΕ και στην ανασυγκρότησή του και στην επιστροφή στις αρχές του υπήρξε αποφασιστικός. Στο 14ο Συνέδριο εκλέγεται Επίτιμος Πρόεδρος του Κόμματος.
Ο Χαρίλαος Φλωράκης ως το τέλος της ζωής του ήταν στην πρώτη γραμμή, φωτεινό παράδειγμα για την πίστη στο Κόμμα, στην υπόθεση της εργατικής τάξης και του σοσιαλισμού.