Grinderman surgió cuando Nick Cave estaba escribiendo material en 2005 para el álbum Abattoir Blues/The Lyre of Orpheus de Nick Cave & The Bad Seeds. Formando equipo con Martyn Casey (bajo), Warren Ellis (violín y guitarra) y Jim Sclavunos (batería), la banda se metió en un estudio de Londres en 2006 y comenzó una sesión maratoniana de composición y maquetas. Con el objetivo de recrear un sonido más crudo y primario, como el del célebre proyecto post-punk de Cave The Birthday Party, el contenido lírico y musical de Grinderman divergía significativamente del anterior trabajo de Nick Cave con The Bad Seeds. . En abril del año siguiente, cogieron la flor y nata de estas nuevas canciones y grabaron un álbum con la ayuda de su viejo amigo y productor Nick Launay. Publicado el 5 de marzo de 2007, Grinderman, su álbum debut de 11 canciones, fue aclamado universalmente por la crítica y contiene los sencillos 'No Pussy Blues' y 'Get It On'. El cuarteto volvió a reunirse en 2009 para grabar Grinderman 2, que se publicó en 2010. En diciembre de 2011, Cave anunció la ruptura de la banda en un festival de música en Australia. El «ferozmente emocionante álbum de debut» (Observer Music Monthly) está disponible en eco-vinilo negro y CD en formato digisleeve.