Mahershala Ali descobriu o amor pela atuação ainda jovem. Ele deu seu primeiro passo com a poesia, escrevendo e subindo aos palcos para recitar seus escritos. A partir daí, começar a atuar foi apenas questão de tempo.
Ao se aproximar do fim de sua graduação, Ali trabalhou no seu filme independente Making Revolution (2003) e em uma peça teatral. Fez pequenas aparições em Nova Iorque Contra o Crime, CSI e Threat Matrix, mas sua carreira só tomou um novo rumo quando o ator integrou o elenco de The 4400, uma série de ficção científica que foi ao ar de 2004 a 2007.
Após participações em séries como Lie To Me (2009) e Law & Order (2009), o ator participou de House of Cards (2013), chegando a ser indicado para premiações como Critics Choice Awards, Emmy Primetime Awards e SAG Awards.
Não demorou muito para se tornar um dos nomes mais procurados em Hollywood. Em 2016, o ator viveu um dos anos mais importantes de sua carreira. Além de estrelar na série Luke Cage, Mahershala incluiu em sua filmografia os longas Estrelas Além do Tempo e Moonlight: Sob a Luz do Luar. Sendo este último o filme que lhe rendeu mais de dez prêmios na categoria de melhor ator coadjuvante.