Γεννημένος το 1933 στο Στάλινγκραντ (σημερινό Βόλγκογκραντ), ο Κλίμοφ δεν ξεκίνησε σαν κινηματογραφιστής, αλλά ολοκλήρωσε τις σπουδές του στο Ινστιτούτο Αεροναυτικής της Μόσχας το 1957. Αμέσως μετά εργάστηκε στη σύνταξη του τμήματος νεολαίας στον Πανενωσιακό Ραδιοφωνικό Σταθμό και στο κεντρικό κανάλι της τηλεόρασης, καθώς και στη Φιλαρμονική της Μόσχας. Με τον κινηματογράφο άρχισε να ασχολείται στις αρχές της δεκαετίας του '60 και το 1964 πήρε το δίπλωμά του από το θρυλικό Κινηματογραφικό Ινστιτούτο της Μόσχας (ΒΓΚΙΚ).
Η πρώτη του επαγγελματική δουλιά, στα επίσης θρυλικά στούντιο της «Μόσφιλμ», ήταν η ταινία «Καλώς ήλθατε, ή απαγορεύεται η είσοδος στους μη έχοντες εργασία», η οποία ήταν μια σατιρική «ματιά» στη ζωή μιας ομάδας πιονιέρων. Η ταινία αρχικά, για αδιευκρίνιστους λόγους, δε «βγήκε» στις αίθουσες, αλλά αργότερα διανεμήθηκε κανονικά.
Με την κωμωδία ασχολήθηκε και αργότερα («Οι περιπέτειες του οδοντογιατρού», 1965), ενώ διέπρεψε και στο ντοκιμαντέρ («Σπορ, σπορ, σπορ», 1970). Το 1974 γύρισε την «Αγωνία» (θέμα της ο Ρασπούτιν), ενώ, το 1982, μετά το θάνατο της συζύγου του, επίσης σκηνοθέτιδας, Λαρίσας Σέπιτκο, ο Κλίμοφ γύρισε τον «Αποχαιρετισμό». Το «Ελα και δες» γυρίστηκε το 1985 και έμελλε να είναι η τελευταία του ταινία. «Σάρωσε» τα πρώτα βραβεία του Φεστιβάλ Κινηματογράφου της Μόσχας την επόμενη χρονιά και παραμένει μια συγκλονιστική, καλλιτεχνική «μαρτυρία» (βασίζεται σε πραγματικά γεγονότα) όχι μόνο για τον Β΄ Παγκόσμιο Πόλεμο, αλλά και για τις ηθικές και υλικές συνέπειες του πολέμου, εν γένει. Από το 1986 διατέλεσε πρώτος γραμματέας της Ενωσης Κινηματογραφιστών ΕΣΣΔ.