A Mercury Records, com sede em Nova York, o cooptou em 64 para ser diretor musical do selo. Jones se tornaria, assim, o primeiro executivo negro a ocupar tal posição na indústria fonográfica. Ele controlava todas as grandes orquestras e divas como Sarah, Dinah, Shirley Horn, Nana Mouskouri e Nina Simone. Naquele mesmo ano, ganharia seu primeiro Grammy, como arranjador da faixa I Can´t Stop Loving You, gravada por Basie. Foi quando o cineasta Sidney Lumet o procurou com um convite: fazer o score para seu novo filme, O Homem do Prego (The Pawnbroker), com Rod Steiger e Geraldine Chaplin. Apesar de cru no ramo, Jones seguiu os conselhos sobre sincronização dados, alguns anos antes, por Henri Mancini. O resultado foi um sucesso.