Sinema tarihinin önemli yönetmenlerinden biridir. Sergei Paradzhanov'la birlikte Glasnost öncesi kuşağın en iyi yönetmeni olarak kabul edilir.
Tarkovsky uluslararası sinema arenasında, ilk uzun metrajlı yapımı olan Ivanovo detstvo (İvan'ın Çocukluğu - 1962) ile dikkatleri üzerine çekti ve Venedik Film Festivali`nde büyük ödül kazandı.
İkinci filmi Andrei Rublyov (Andrey Rublev - 1969 ), 1971 yılına kadar Sovyet yetkililerce yasaklanmış olarak kaldı. Cannes Film Festivali dahilinde, ödül almaması için kasıtlı olarak festivalin son günü sabah saat 4:00'de gösterilmesine rağmen bir ödül kazanmayı başardı.
1990 yılında "sinema sanatına olağanüstü katkısı, evrensel insani değerleri ve hümanist düşünceleri olumlayan yenilikçi filmleri" nedeniyle Tarkovsky'ye Lenin Ödülü verildi.