Em 1928, criou, com Carlos Chagas, o Bloco dos Arengueiros, que se transformou na Escola de Samba Estação Primeira da Mangueira, para quem compôs seu primeiro samba-enredo (Chega de Demanda) e escolheu suas cores verde e rosa. Descoberto pelos cantores do rádio da década de 30 como uma das revelações do chamado samba de morro carioca (juntamente com Ismael Silva, Heitor dos Prazeres, Bide e Marçal), carregando ainda o título mítico de fundador da Estação Primeira de Mangueira, teve suas músicas gravadas (e compradas) por nomes como Francisco Alves, Mário Reis, Silvio Caldas, Aracy de Almeida, Jamelão e Carmen Miranda.

Os anos 30 foram uma época de alta para Cartola. Chegou a ser escolhido o melhor compositor das principais escolas de samba do Rio de Janeiro pelo Departamento de Turismo da cidade, ganhando uma medalha de ouro. Apresentava-se em diversas cidades ao lado de Paulo da Portela e Heitor dos Prazeres, com quem formava o Grupo Carioca, participou em 1940 da gravação do disco Native Brazilian Music, convidado por Villa-Lobos e dirigido pelo maestro Leopold Stokowski.