Nascido em um subúrbio de Barnwell (Carolina do sul) em 1933, James Joseph Brown Jr. superou uma infância marcada pela miséria e a marginalização, após ser abandonado aos 4 anos por seus pais e deixado aos cuidados de parentes e amigos. Cresceu nas ruas de Augusta (Geórgia), onde cantava e dançava para pagar uma vaga no quarto do bordel da sua tia.

Abandonou a escola na sétima série e começou a trabalhar colhendo algodão, engraxando sapatos, lavando carros e pratos e fazendo faxina em lojas.

Aos 16 anos, foi condenado a passar três anos em um reformatório por roubar carros. Ao sair, seguiu uma carreira semiprofissional como boxeador.