Margolis nasceu em 1939 na Filadélfia, nos Estados Unidos. Ainda novo, foi para Nova York perseguir a carreira de ator. Atuou em peças da Boradway, como "Infidel Caesar", além de em mais de 50 peças off-Broadway.
Seu grande papel no cinema foi no clássico "Scarface", de Brian de Palma, filme em que viveu o vilão Alberto. Esteve em vários filmes do diretor Darren Aronofsky, como "Cisne Negro" e "Pi". Ao todo, acumula mais de 70 aparições em filmes.
Na televisão, além de nas séries do universo de "Breaking Bad", esteve em atrações como "The Equalizer" e "American Horror Story: Asylum", além de fazer aparições em programas como "Gotham" e "The Affair". Em 2012, ele foi indicado a um Emmy por sua atuação em "Breaking Bad".