Ao mesmo tempo em que produzia e tocava incessantemente, Dylan sofria cada vez mais com o assédio da imprensa e dos fãs. A todo momento, era indicado como líder de um movimento amorfo, um movimento que tomaria forma em 1968 mas que, sobretudo, relutava em liderar. Ainda em 1966, foi noticiado que Dylan sofreu um acidente andando de moto. A partir daí, ele isola-se em sua casa nas imediações de Woodstock, onde pretendia ficar com sua família. Abandonou a sua banda a The Band e recusou os convites para participar de show e festivais – incluindo o próprio Woodstock. Voltaria à cena apenas no ano de 1969, com marcante participação no festival da Ilha de Wight.

Especula-se que o famoso acidente, que o teria deixado em estado grave e chegou a ser noticiado pelo "New York Times", não causou-lhe qualquer ferimentos, que só fingiu, para fugir da vida pública.