Ao pegar o gospel tradicional "My Jesus Is All The World To Me" e acrescentar líricas seculares, Charles apareceu com uma canção que, embora não tenha ido parar nas listas de sucesso, foi popular nos dois lados de uma América racialmente dividida em 1954.

"Para os negros serviu como uma celebração descarada da negritude sem religião; para os brancos, abriu portas que sempre estiveram fechadas", disse Peter Guralnick, compositor e historiador.

Foi nos anos 50 que Charles ganhou a alcunha de “O Génio”. Em 1957 gravou o álbum “Soul Meetings”, com o Modern Jazz Quartet e o vibrafonista Milt Jackson. Em 1958, para gravar “Soul Brothers”, juntou-se novamente a Jackson e também a Kenny Burrell, o baixista Percy Heath e o baterista Arthur Taylor. Charles, em “X-Ray Blues”, tocou saxofone alto, um dos únicos momentos gravados em disco em que toca este instrumento.