O gosto pela música veio de cedo. Aos três anos travou amizade com o dono do café local, que tocava piano e o ensinou.

Aos sete anos ganhou uma bolsa de estudo para a Escola de Surdos e Mudos de St. Augustine, Flórida. Apesar da relutância em partir, foi nesta escola que recebeu formação musical mais a fundo e aprendeu a ler, escrever e compor em Braille. Fez audições para grandes bandas e aprendeu a tocar piano, órgão, saxofone, clarinete e trompete. As suas influências eram os grandes artistas da época, como o clarinetista Artie Shaw, os pianistas Duke Ellington e Count Basie; os dois gigantes do jazz, Art Tatum e Louis Jordan, assim como nomes clássicos como Chopin e Sibelius. Devastado aos 15 anos pela morte de sua mãe, ele abandonou a escola e seguiu para Jacksonville, onde começou sua carreira musical, acompanhando bandas e se apresentando em pequenos concertos em salas para negros.