Nascido em 1908 no bairro do Catete, no Rio de Janeiro, aos 11 anos foi morar no Buraco Quente, um bairro no Morro da Mangueira. O apelido Cartola, veio de quando começou a trabalhar na construção civil. Depois de levar muito cimento na cabeça no primeiro dia de trabalho, apareceu no dia seguinte com um chapéu coco para se proteger, que acabou virando "cartola", talvez por confusão dos colegas.

Aprendeu a tocar cavaquinho desde cedo com o pai. Ainda jovem, costumava ir a missas na Igreja da Glória para ouvir quartetos de coral de Bach e Händel, o que talvez seja um indício de seu refinamento musical, uma vez que não tinha qualquer estudo formal de música.