Pouco depois começou uma fase de decadência. O sambista ficou doente, teve meningite, quase morreu em 1946. Nos anos seguintes seus sambas passaram a ser preteridos para os desfiles da Mangueira, o que causou profundo desgosto e levou a um afastamento inimaginável entre Cartola e a Mangueira.

Em seguida vem o período mais misterioso, do "desaparecimento" de Cartola. Pouco tempo depois da morte de Deolinda – mulher mais velha com quem vivia desde os 17 anos –, saiu da Mangueira e foi viver com uma mulher chamada Donária, sobre quem as informações são escassas. Segundo a biografia Cartola – Os Tempos Idos, de Marília Barboza da Silva e Arthur de Oliveira Filho, Cartola conta assim o que aconteceu: "Andei doente, depois perdi minha mulher e acabei me metendo num negócio aí que nem vale a pena comentar. Acabei jogando fora uns seis ou sete anos (...) Larguei tudo por aquela mulher (Donária). Larguei até a música, deixei até de tocar violão".