Egy tűzoltó és egy producer gyermekeként jött a világra Chicagóban, s bár olyan színészek filmjein nőtt fel, mint Humphrey Bogart vagy Robert Mitchum, viszonylag későn döntötte el, hogy példaképeit nyomába lép. Egy ideig szobafestőként és autószerelőként dolgozott, s az Egerek és emberek egyik előadása változtatta meg végleg az életét.

Pályáját szülővárosa nevezetes intézményében, a Steppenwolf színházban kezdte, ahol John Malkovich keze alatt tanult, majd úgy döntött, Los Angelesbe költözik. Karrierje persze a legtöbb kezdőéhez hasonlatosan nehezen indult be, s eleinte egy benzinkútnál alkalmazták. Később azonban sikerült ügynököt szereznie magának, aki olyan tévésorozatokba juttatta be, mint a Miami Vice vagy a Cagney és Lacey.

Első filmszerepe az 1983-as Háborús játékok volt, ám csupán szűk egy évtizeddel később, Ridley Scott Thelma és Louise című mozijának kötekedő surmójaként sikerült számottevő ismeretségre szert tennie. (A két főszereplő, Geena Davis és Susan Sarandon mellett itt tűnt fel a fiatal Brad Pitt is.) S bár még ugyanebben az évben láthattuk Oliver Stone The Doors című filmjében is, a kiugrást végül Quentin Tarantino rendezése, a Kutyaszorítóban hozta el számára az enyhén pszichopata gengszter szerepében.

Ez utóbbi szerepével Madsen végképp megvetette a lábát Hollywoodban, s azóta legtöbbször olyan hidegvérű bűnözők megszemélyesítőjeként találkozhattunk vele, mint a Fedőneve: Donnie Brasco Sonny Blackje. Emellett feltűnt még A lény első és második részében, a klasszikus vadnyugati hős, Wyatt Earp életét megörökítő 1994-es westernben, s némi meglepetésre a Szabadítsátok ki Willyt! című családi moziban is. A költőként több verseskötetet és egy lemezt is kiadó színész nővére, Virginia Madsen szintén a filmszakmában vált ismertté.