Entrou na escola de São Miguel de Lünenburg aos quinze anos, onde cantaria no coro e teria ensino formal de música. Johann era um aluno notável, tanto que aos dezoito anos foi contratado, sem concurso, como organista da recém construída igreja de Arnstadt.

Alguns anos depois, ausentou-se durante quatro meses para conhecer o célebre Buxtehude, à quem admirava muito. Por essa razão, perdeu seu emprego. Entretanto, não ficou muito tempo desempregado: foi logo admitido como organista em Mühlhausen. Em 1707, casou-se com sua prima, Maria Barbara.

No mesmo ano, transferiu-se para a corte de Weimar, para trabalhar como organista, violinista e compositor. Ficou por lá até 1717, período esse cheio de conflitos com o duque, ambos, Bach e o nobre, tinham personalidades difíceis.