Πρωτοεμφανίστηκε στην ΕΛΣ ως «Μαζέτο» («Ντον Τζιοβάνι») και «Τόνιο» («Παλιάτσοι») το 1962, και αμέσως προσλήφθηκε στη Χορωδία της με τη βοήθεια του Κωστή Μπαστιά, ενώ από το 1967 έγινε σολίστ και ερμήνευσε όλους τους μεγάλους ρόλους για βαρύτονο του παγκόσμιου ρεπερτορίου σε εκατοντάδες παραστάσεις, μεταξύ άλλων στα έργα: «Μαντάμ Μπατερφλάι», «Μποέμ», «Τόσκα», «Τζάνι Σκίκι», «Μανόν Λεσκό», «Το κοριτσάκι της Δύσης» (Πουτσίνι), «Τραβιάτα», «Ριγκολέτο», «Ναμπούκο», «Χορός Μεταμφιεσμένων», «Τροβατόρε», «Μάκβεθ», «Σιμόν Μποκανέγκρα», «Δύναμη του Πεπρωμένου», «Ντον Κάρλος», «Ερνάνης», «Φάλσταφ» (Βέρντι), «Οι Γάμοι του Φίγκαρο», «Ετσι κάνουν όλες», «Ντον Τζιοβάνι», «Ο Μαγικός Αυλός» (Μότσαρτ), έργα του «μπελκάντο», των Ροσίνι, Μπελίνι και Ντονιτσέτι, και της «γκραν - οπερά» και του βερισμού, αλλά και πιο σπάνια, όπως «Τα Παραμύθια του Χόφμαν» (Οφενμπαχ), «Ο Πρόξενος» (Μενότι), «Η Αριάδνη στη Νάξο» (Ρ. Στράους), «Η Ανοδος και η Πτώση της Πόλης του Μαχαγκόνι» (Βάιλ), «Το Καμπανάκι» (Ντονιτσέτι), «Διδώ και Αινείας» (Πέρσελ), «Ο Κύριος Μπρουσκίνο» (Ροσσίνι), «Το Παιδί και τα Μάγια» (Ραβέλ). Σημαντική υπήρξε η προσφορά του και στην ελληνική οπερατική παραγωγή, με τον «Κωνσταντίνο Παλαιολόγο» (Καλομοίρης), τον «Κονρουά και τις Κόπιες του» (Κούκος), «Μαραθών - Σαλαμίς» και «Ρέα» (Σαμάρας), «Δέσπω» (Καρρέρ) κ.ο.κ.
Εκτός Ελλάδας, εμφανίστηκε σε δεκάδες παραστάσεις και ρεσιτάλ σε λυρικά θέατρα και συναυλιακές αίθουσες σε Γερμανία, Πολωνία, ΗΠΑ, Βουλγαρία, Βέλγιο, Γιουγκοσλαβία κ.α. Είχε τη μεγάλη τύχη να τον διευθύνουν στην Ελλάδα και στο εξωτερικό μεγάλοι μαέστροι, όπως Γκουαντάνιο, Πατανέ, Ρεσίνιο, Μπαρτολέτι, Τζελμέτι, Τσου Χουί, και όλοι οι Ελληνες: Οδυσσεύς Δημητριάδης, Μιλτιάδης Καρύδης, Αντζελο Καβαλάρο, Τότης Καραλίβανος, Παρίδης, Χωραφάς, Αντίοχος Ευαγγελάτος, Κολάσης, Δημήτρης Αγραφιώτης, Φιδετζής, Καρυτινός, Βουδούρης, Ανδρέας Πυλαρινός κ.ά. Επαιξε δίπλα σε καλλιτέχνες του βεληνεκούς των Ατλάντοφ, Ταντέι, Ολιβέρο, Αραγκάλ, Μπονιζόλι, Νίκου Ζαχαρίου, Κώστα Πασχάλη, Ζανέτ Πηλού, Αντιγόνης Σγούρδα κ.ά., ενώ τον σκηνοθέτησαν οι μεγαλύτεροι του είδους, μεταξύ άλλων οι Μενότι, Κακογιάννης, Αζαγκαρόφ, Κόπλεϊ, Σάμπλιτς, Βιτ κ.λπ.
Με την Κρατική Ορχήστρα Αθηνών, ανάμεσα σε άλλα τραγούδησε την σπάνια παρουσιαζόμενη «Λειτουργία αρ. 2 σε σολ D.167» υπό τον Βαβαγιάννη (1965) και για πολλά χρόνια ήταν ο ιδανικός βαρύτονος του «Αξιον Εστί», του Θεοδωράκη, σε πολλές συναυλίες με πολλές ορχήστρες. Ως σολίστ εμφανίστηκε αρκετές φορές και με τη Συμφωνική της ΕΡΤ, λαμβάνοντας μέρος και σε πολλές ηχογραφήσεις της.
Η νεοελληνική έντεχνη μουσική τού χρωστάει πολλά, καθώς αποτύπωσε σε δίσκους μερικά από τα σπουδαιότερα έργα των τελευταίων 200 χρόνων: «Ρέα», «Μάρτυς», «Ξανθούλα» (Σαμάρας), «Δαχτυλίδι της Μάνας» (Καλομοίρης), «Ο Βαφτιστικός» (Σακελλαρίδης), «Αξιον Εστί» (Θεοδωράκης), «Ο Πικραμένος Αναχωρητής» (Κωνσταντακόπουλος, π. Βρεττάκος) κ.ά. Πέραν αυτών, δισκογράφησε και αποσπάσματα από τον βερντιανό «Μάκβεθ».
Επί πολλά έτη διετέλεσε μέλος του ΔΣ της ΕΛΣ αλλά και αναπληρωτής καλλιτεχνικός διευθυντής της, εργαζόμενος με την σύζυγό του στην ίδρυση της Παιδικής Σκηνής, βοηθώντας πάντοτε νέους καλλιτέχνες με όποιον τρόπο μπορούσε, αλλά και διδάσκοντας. Ιδρυτικό μέλος της «Οπερας Δωματίου Αθηνών», έγραφε παιδικά έργα, στίχους για όπερες και θεατρικά έργα πρόζας. Ο Κουλουμπής ήταν ένας σεμνός καλλιτέχνης, ο οποίος με τη σκηνική του παρουσία, τη μουσικότητά του και τη ζεστή, αναγνωρίσιμη χροιά της φωνής του, θα μείνει για πάντα μέσα μας. Υπήρξε ένας από τους συνεπείς «εργάτες» της τέχνης μας, στους ώμους του οποίου για 45 χρόνια ακούμπησε στέρεα το μοναδικό μας - ακόμα - Λυρικό Θέατρο.