Urodziła się i wychowała w Pensylwanii w katolickiej rodzinie o korzeniach irlandzkich i polskich. Niektóre źródła podają, że naprawdę nazywa się Karolina Piekarski, ale to nie zostało potwierdzone i pozostaje tylko plotką. Najpierw pracowała jako asystentka magika w objazdowym show, a potem została tancerką i za pieniądze z występów w nocnych klubach sfinansowała naukę w Actors Studio, gdzie uczyła się pod okiem Lee Strasberga. Występowała w reklamach tv, a w 1953 zadebiutowała jednocześnie na Broadwayu i w kinie. Pierwszą ważną rolę zagrała w Olbrzymie (1956) George’a Stevensa, epopei teksańskiej łączącej elementy melodramatu, sagi rodzinnej i neo-westernu. Co ciekawe, Carroll Baker była w tym filmie córką postaci granej przez Elizabeth Taylor, mimo iż była starsza od niej prawie o rok. W ciągu następnych 10 lat zagrała jeszcze w trzech cenionych przez krytyków westernach. Znakomitą rolę miała w Białym kanionie (1958) Williama Wylera, gdzie wcieliła się w postać upartej, zaślepionej nienawiścią Patricii Terrill. Można ją również zobaczyć w gwiazdorsko obsadzonej superprodukcji Jak zdobyto Dziki Zachód (1962). Film podzielony jest na pięć epizodów – C. Baker zagrała w epizodzie pierwszym (Rzeki, reż. Henry Hathaway) i trzecim (Wojna secesyjna, reż. John Ford). U Forda wystąpiła jeszcze w roli nauczycielki w Jesieni Czejenów (1964). Zdobyła tylko jedną nominację do Oscara – za tytułową Baby Doll w filmie Elii Kazana (1956) wg scenariusza Tennessee Williamsa.