Apesar da fama com a então recém-criada Bossa Nova, sua primeira gravação lançada comercialmente foi uma participação como violonista no disco de Elizeth Cardoso de 1958 intitulado Canção do Amor Demais, composto por músicas de Tom Jobim e Vinícius de Moraes. Pouco depois desta gravação, João Gilberto gravou seu primeiro LP, Chega de Saudade. A faixa-título, composta por Tom e que também aparecia no álbum de Elizeth Cardoso, foi sucesso no Brasil, lançando a carreira de João Gilberto e, por conseqüência, todo o movimento da Bossa Nova. Além de algumas composições de Tom Jobim, o álbum apresentava sambas mais antigos e músicas populares na década de 1930, porém todas tocadas em ritmo de Bossa Nova. Este álbum foi seguido de outros dois, em 1960 e 1961, nos quais ele apresentou músicas novas de uma nova geração de cantores e compositores, como Carlos Lyra e Roberto Menescal.