Cole Porter nasceu em Peru, Indiana, no dia 9 de Junho de 1891. Filho de Samuel Fenwick Porter e Kate Cole, Porter desde cedo foi habituado a riqueza. O seu pai era farmacêutico mas a sua mãe era filha de um dos homens mais ricos de Indiana (devido a negócios do carvão e madeira), James Omer Cole, que contribuía para que a família Porter tivesse um nível de vida elevado.

Aos seis anos, Cole começou a ter aulas de piano e de violino, tendo abandonado os estudos do último por preferir o primeiro.

Aos dez anos, Cole compôs a sua primeira música – “Song Of The Birds”- um tema cuja letra tinha sido feita pela sua mãe. Kate Cole sempre apoiou bastante o interesse do filho pela música, tendo mesmo financiado os seus precoces projetos musicais.