Rust Never Sleeps fue su undécimo álbum de estudio y se publicó en junio de 1979. Gran parte del álbum fue grabado en directo en el Boarding House de San Francisco (California) durante la gira con Crazy Horse a finales de 1978, y con una producción posterior en el estudio de grabación. Contiene el clásico 'Hey hey, my my'.