Peter Tosh nasceu numa comunidade rural chamada Westernmost, Jamaica, em 19 de Outubro de 1944.
Quando começou a ir para a escola, sua tia, Loretta Campbell, cuidava dele durante a semana. Nos fins-de-semana ele ia para casa com sua mãe. Nestes primeiros anos, a música era uma constante. "Eu nasci na música" - ele dizia. "Desde a época em que aprendi a falar e a trocar pensamentos verbais, eu pude cantar".

Embora tenha se tornado conhecido pela pureza de sua voz de barítono, ele também era mestre nas notas mais altas, "tocava piano, na escola de domingo, em um coral. Se precisassem de alguém que segurasse uma nota alta e ninguém a alcançasse, eu alcançaria. Era sempre eu e a performace, o recital e a ação".