Ray era filho de Bailey Robinson, mecânico e faz-tudo, e de Aretha Robinson. Na altura da Grande Depressão, não havia facilidades econômicas ou ganhos financeiros para ninguém, em especial para as famílias negras que viviam todos os dias com a segregação sulista. Ray recorda a extrema pobreza da sua família na autobiografia que escreveu, “Brother Ray”, onde diz: “Éramos os mais pobres de entre os pobres. Estávamos no fundo da escada olhando para cima. Apenas o chão nos pertencia.”

A infância de Ray Charles não foi fácil. Quando tinha cinco anos viu o seu irmão mais novo, George, afogar-se na grande tina onde a mãe lavava a roupa, trauma que o acompanhou para o resto da vida. Aos sete anos de idade ficou cego em razão de um glaucoma.