Wraz z Marlonem Brando studiował w szkole aktorskiej Elii Kazana, a efekt ich wspólnej pracy można zobaczyć w obsypanym Oscarami dramacie Na nabrzeżach (1954). W przeciwieństwie do Brando nie był jednak dość fotogeniczny, by stać się czołową gwiazdą Hollywood. Starał się więc być najlepszy w graniu postaci, na które pozwalały jego warunki fizyczne. Na ekranie był Alem Capone, Napoleonem Bonaparte, Benito Mussolinim, Poncjuszem Piłatem. W filmie W upalną noc (1967) Normana Jewisona zagrał szefa policji na Głębokim Południu, który stopniowo nabiera szacunku do czarnoskórego policjanta z Filadelfii. Dostał za ten występ jedynego Oscara. 10 lat wcześniej też brał udział w społecznie zaangażowanym, antyrasistowskim projekcie. Mowa o westernie Run of the Arrow (1957) Samuela Fullera, gdzie wcielił się w konfederackiego żołnierza poznającego kulturę Siuksów. Chociaż nie ma w dorobku zbyt wielu westernów zazwyczaj gra w nich zapadające w pamięć nieszablonowe postacie, jak na przykład zarządca tytułowego Rancza w dolinie (1956) Delmera Davesa oraz meksykański bandyta Juan Miranda w Garści dynamitu (1971) Sergia Leone.