Jest starszym bratem Ethana, z którym tworzy utalentowany duet w kinematografii amerykańskiej. Od dzieciństwa był zainteresowany kinem. Swoją przygodę z dużym ekranem rozpoczął jako scenarzysta, zaś na początku lat osiemdziesiątych podjął współpracę z reżyserem Samem Raimi, z którym zrobił horror Martwe zło. Mimo, że Joel zazwyczaj występuje w swoich filmach jako reżyser, a Ethan jako producent, to faktycznie ich praca nad dziełem jest wspólna. W 1987 roku nazwisko braci Coen stało się znane na całym świecie dzięki błyskotliwej komedii Raising Arizona, obraz ten otworzył im drogę do sławy. Francesca McDormand, która często występuje w filmach braci Coen, prywatnie jest żoną Joela. Za filmy Fargo (1996) i To nie jest kraj dla starych ludzi (2007) bracia otrzymali Oscary, w sumie 4 statuetki. Na swoim koncie mają dwa dzieła westernowe: Prawdziwe męstwo z Jeffem Bridgesem i Mattem Damonem oraz Ballada o Busterze Scruggsie. Joel wraz z bratem przewodniczył jury konkursu głównego na 68 MFF Cannes (2015)