Criado pela mãe, o avô e os tios maternos, Tom tinha apenas um ano quando seus pais separaram-se pela primeira vez. Após uma curta reaproximação, durante a qual Tom ganhou uma irmã, Helena Isaura, nascida em 1931, o casamento de Nilza e Jorge se desfez para sempre. Dois anos após a morte de Jorge, d. Nilza casou-se com Celso Frota Pessoa, que acabaria transformando-se no verdadeiro pai de Tom e Helena.E foram todos morar em Ipanema, numa casa de pedra da rua Sadock de Sá nº 276, com fundos para um terreno baldio frontal à Lagoa Rodrigo de Freitas. No andar de cima, os tios, Yolanda e João Lira Madeira, e dois primos; no térreo, Tom, Helena, os pais, os avós maternos e tio Marcelo. Foi naquele ambiente, musical dentro de casa e ecologicamente exuberante do lado de fora, que Tom, assim apelidado pela irmã, desenvolveria seu pendor para a música e sua paixão pela natureza.