Nato in campagna, si trasferisce con il fratello Mika Kaurismäki a Helsinki dove vive facendo lavoretti umili, ma frequentando cinema e cineteche. Inizia a lavorare come critico critico cinematografico e, con il fratello Mika, fonda il Midnight Sun Film Festival di Sodankylä e la società di distribuzione Ville Alpha (chiamata così dal film Alphaville di Jean-Luc Godard) per poter girare i film che hanno in testa.
Nel 1981, i due fratelli dirigono il film-documentario La sindrome del lago Saimaa, girato in riva al più grande lago della Finlandia a budget bassissimo. Poi sono opere classiche a ispirarlo, nasce così una rivisitazione finlandese di Delitto e Castigo e un anticapitalistico Amleto nel mondo degli affari. Il suo sguardo sul mondo proletario e marginale prosegue con La fiammiferaia, del 1989, in cui racconta la triste vita di fabbrica e le vicende sentimentali di un’operaia. Nello stesso anno dirige il surreale Leningrad Cowboys Go America, road movie musicale attraverso gli stati Uniti. Con Ho affittato un killer, del 1990 inizia la sua fama internazionale grazie al successo alla mostra del cinema di Venezia. In Vita da Bohème, più ispirato al romanzo di Henri Murger che all'opera di Puccini, utilizza composizioni di Mozart e valzer francesi e toglie ogni elemento di romanticismo alla storia. Nel 1992 dirige il mega-concerto dei Leningrad Cowboys ad Helsinki (Total Balalaika Show), concerto che darà fama internazionale al gruppo russo/finlandese. Nel 1994 dirige Leningrad Cowboys Meet Moses, sequel meno fortunato ma più ironico del precedente Leningrad Cowboys Go America. Il carattere surrealista del lavoro di Kaurismäki è confermato da Tatjana del 1994, quasi una pellicola muta, scelta ribadita nel film muto con didascalie, in bianco e nero, Juha del 1999 in cui adatta un classico della letteratura finlandese di Juhani Aho. Nel 2002 è premiato al festival del cinema di Cannes con il Grand Prix Speciale della Giuria per L'uomo senza passato. Nel 2006 riceve il Premio Fiesole "Maestri del Cinema". Lo stesso anno esce nelle sale il bellissimo Le luci della sera, uno tra i film più pessimisti e malinconici del regista