Em 56, ele se tornou diretor musical da banda de Dizzy Gillespie, a quem ele tem como grande mentor. Ao fazer uma turnê pelo Oriente Médio e pela América do Sul, patrocinada pelo Departamento de Estado americano, conheceu a Bossa Nova, estilo que depois iria adotar em alguns de seus álbuns. Um ano depois, ele se mudou para Paris, onde foi contratado por Nicole Barclay para ser diretor musical, arranjador e maestro da Barclay Records. Além de ser apresentado ao demi-monde parisiense, com noitadas em companhia de Charles Aznavour, Catherine Deneuve, Boris Vian e Jeanne Moreau, entre outros, Jones gravou com Henri Salvador e Ella Fitzgerald, além de formar sua big band.