Em 1952 a Atlantic Records assinou contrato com ele, mas as músicas sob a alçada desta produtora só saíram em Maio do ano seguinte.

Teve o primeiro contato com a fama comercial em 1953, com a música “The Things That I Used to Do”, que vendeu mais de um milhão de cópias. Recebeu muitas críticas por misturar ritmos, como gospel e blues. Seu hit "I Got A Woman" considerado a chave que abriu a porta para um cruzamento da herança musical negra na corrente musical americana branca trouxe uma nova dinâmica nunca antes escutada que levou o single ao número 1 da parada de R&B.

Criou nessa época as Raylettes, como eram conhecidas as dezenas de garotas que passaram pelos backing vocals das várias formações de sua banda de apoio.