Em 31 de dezembro de 1912, nas comemorações pelo ano novo, Armstrong é preso por disparar tiros para o alto com uma pistola e é encaminhado para um reformatório para meninos negros. Entre 1913 e 1914 Louis recebe instrução musical do maestro do reformatório, Peter Davis, chegando a ser o "bandleader" do instituto.

Em 16 de junho de 1914 é libertado do reformatório. Mora por pouco tempo com o pai William Armstrong e retorna para a casa da mãe. Rapidamente, seu som ficou conhecido em toda Nova Orleans: desde os clubes de má fama até as ricas embarcações que navegavam pelo rio Missisippi, onde os brancos nunca tinham visto um negro vestido de smoking.

Entre 1914 e 1917 Joe Oliver, um dos maiores trompetistas de New Orleans, torna-se seu mestre e mentor. Louis executa "honky-tonks" de New Orleans com grupos locais. Entrega carvão e vende jornais para ajudar no sustento da mãe e irmã.