Nasceu em 25 de Abril de 1918 em Newport News, Virginia. Os pais de Ella nunca se casaram. Viveu com a mãe o padrasto que a maltratava. Sua mãe faleceu quando ela tinha somente 14 anos. Largou a escola e mais tarde foi para um reformatório por vadiagem. Ficou pouco tempo até que fugiu e foi viver nas ruas de Nova Iorque cantando e dançando para ganhar gorjetas.

Aos 16 anos, em 1934, Ella Fitzgerald apresentou um número de dança no programa de calouros "Amateur Night Show" . Ella preferiu cantar. Apesar de maltrapilha e nervosa, ganhou o primeiro prêmio que era a permissão de se apresentar no teatro duas semanas, mas o gerente não aceitou por considerá-la muito feia.