Ετσι, το χαρακτηριστικό του στοιχείο ήταν η έντονη διαπάλη και φραξιονιστική αντιπαράθεση στις γραμμές του, που κορυφώθηκε την περίοδο '29 - '31. Δεν πρέπει, βεβαίως, να αφαιρεθούμε ως προς αυτό και από το γεγονός ότι ο ταξικός αντίπαλος, μαζί με την κρατική κατασταλτική μηχανή, έκανε συστηματική διαβρωτική δουλιά στις γραμμές του ΚΚΕ, αξιοποιώντας το αδύνατο θεωρητικό και ιδεολογικό επίπεδό του, αλλά και τον τροτσκισμό, που, στη συγκεκριμένη εποχή, ήταν ο υπ' αριθμόν ένα εχθρός στα πλαίσια του διεθνούς κομμουνιστικού κινήματος. Οπως, βεβαίως, και ο δεξιός οπορτουνισμός, και ο ρεφορμισμός στις γραμμές του εργατικού κινήματος. Και στην Ελλάδα, μπορεί να μην υπήρχε σοσιαλδημοκρατία, υπήρχε όμως το αστικό κόμμα των Φιλελευθέρων του Βενιζέλου, που υποκαθιστούσε αυτή την αναγκαιότητα για το πέρασμα της αστικής πολιτικής στο εργατικό κίνημα. Απόδειξη, η έντονη δράση του για την «αποκομμουνιστικοποίηση» της ΓΣΕΕ.
Στο ΚΚΕ ήταν ήδη στέλεχος. Το 1924 ο Ν. Ζαχαριάδης είχε αναλάβει καθοδηγητική δουλιά στην ΟΚΝΕ (Ομοσπονδία Κομμουνιστικών Νεολαιών Ελλάδας) με ευθύνη την καθοδήγηση της Οργάνωσης της Θεσσαλονίκης. Λίγο αργότερα, εκλέγεται μέλος της ΚΕ της ΟΚΝΕ. Στα 1926, όντας μέλος της ΚΕ της ΟΚΝΕ, το Κόμμα τού αναθέτει την ευθύνη της καθοδήγησης της ΚΟ Πειραιά. Στα 1927 περνά ολοκληρωτικά στην κομματική δουλιά και αναλαμβάνει, με απόφαση της ΚΕ του ΚΚΕ, Γραμματέας της ΚΟ Θεσσαλίας.
Ολα αυτά τα χρόνια δρα σε συνθήκες διώξεων και παρανομίας, συλλήψεων και αποδράσεων, ενώ έχει στην πλάτη του δίκες και καταδίκες. Η ικανότητά του στις αποδράσεις είχε γίνει ο μεγαλύτερος «πονοκέφαλος της Κρατικής Ασφάλειας» και της Χωροφυλακής. Καταφέρνει να αποδράσει έξι συνολικά φορές από φυλακές, γεγονός που του προσέδωσε τη φήμη του ασύλληπτου. Στα 1929, με απόφαση της ΚΕ του ΚΚΕ, φεύγει στο εξωτερικό για σπουδές, επιστρέφοντας στα 1931, όταν εκλέγεται Γενικός Γραμματέας της ΚΕ του ΚΚΕ.