A MC5 é uma banda de rock protopunk, termo utilizado para se referir a artistas que antecederam o movimento punk e influenciaram a sua criação. Kramer foi guitarrista do grupo de 1964, quando foi fundado em Detroit, até sua dissolução, em 1972.
Em 1975, Kramer foi preso após ser flagrado vendendo cocaína. Depois de solto, ele se mudou para Nova York, onde chegou a participar da banda Gang War por um curto período, ao lado de Johnny Thunders, ex-membro da New York Dolls.
Na década de 1980, o músico tocou na banda "Fats Deacon and the Dumbwaiters". Ele também trabalhou como carpinteiro e se apresentou com artistas e bandas como GG Allin, Was e Rage Against the Machine.
Em 1991, o MC5 se reuniu em um show memorial, no mesmo ano em que o vocalista, Rob Tyner, morreu. Três anos depois, Kramer iniciou sua carreira solo após assinar com a gravadora Epitaph Records. Um dos discos lançados foi "The Hard Stuff", de 1995.