Filho do diretor Stephen Gyllenhaal e da roteirista Naomi Foner, Jake Gyllenhaal estreou no cinema aos 11 anos ao lado de Billy Crystal em Life, Love, Cows (1991). Criado em um ambiente dedicado ao cinema (sua madrinha é Jamie Lee Curtis e seu padrinho Paul Newman), ele fez algumas aparições nas telas durante a adolescência. Ele apareceu em Uma mulher perigosa (1993) e em Homegrown (1998), dirigidos por seu pai.

Sua carreira é acompanhada pela de sua irmã, Maggie Gyllenhaal. Foi ao seu lado que foi revelado ao grande público em 2001 em Donnie Darko, onde interpretou um adolescente perturbado que se comunica com um perturbador coelho gigante. Aos poucos foi se destacando no meio de filmes independentes (Por um Sentido na Vida em 2002) até o blockbuster de Roland Emmerich, O Dia Depois de Amanhã (2004).

Agora considerado uma das estrelas em ascensão de Hollywood, Jake Gyllenhaal seleciona seus projetos com atenção, escolhendo papéis fortes. Em 2006 e 2007, ele foi, alternadamente, um fuzileiro naval perdido na Guerra do Golfo em Soldado Anônimo de  Sam Mendes, um cowboy gay em O Segredo de Brokeback Mountain, de Ang Lee (quando foi indicado pela primeira vez ao Oscar) e um agente da CIA questionando sua missão em O suspeito ao lado de Reese Witherspoon. O ator também esteve em Zodíaco, dirigido por David Fincher,no qual co-estrela com Robert Downey Jr.

Em 2010, Gyllenhaal ganhou músculos para o blockbuster adaptado do famoso videogame Príncipe da Pérsia, e foi para a comédia com Amor e Outras Drogas, com Anne Hathaway, recebendo uma indicação para o Globo de Ouro. O ator voltou aos filmes de ação com seus papéis como um soldado em Contra o Tempo (2011) e um policial experiente em Marcados para Morrer (2012).

Selecionando seus filmes com sabedoria, Jake Gyllenhaal então estrelou em dois thrillers dirigidos por Denis Villeneuve: Os Suspeitos and O Homem Duplicado. Particularmente à vontade em papéis físicos, o ator interpretou um boxeador pronto para fazer qualquer coisa para recuperar sua glória e dignidade em Nocaute (2015) de Antoine Fuqua e um alpinista em Evereste.

Jake Gyllenhaal ainda apareceu ao lado de Amy Adams em Animais Noturnos, e em 2018, interpretou Jeff Bauman, sobrevivente dos atentadoa da Maratona de Boston em 2013. Outra prova de sua paixão por papéis difíceis.

Em 2019, Jake entrou para o time da Marvel vivendo o vilão Mysterio no filme Homem-Arnaha: Longe de Casa com Tom Holland.