A sua vida privada estava conturbada, principalmente após ter sido apanhado no aeroporto de Boston, em Outubro de 1964, na posse ilegal de marijuana, heroína e uma seringa. Uma vez que já tinha sido preso por posse de droga em Indianapolis e Filadélfia, ficou desesperado. Parou com a música durante um ano, internou-se em uma clínica de desintoxicação na Califórnia e acabou conseguindo largar a droga que o acompanhou durante 15 anos. Este processo foi celebrado em 1965, com a música “Crying Time”, vencedora de dois Grammys.