Sly teve contato com a música bastante cedo. Seu primeiro registro musical data de 1948, quando ele tinha quatro anos de idade e já estava no grupo de música Gospel da família, The Stewart Four.

Embora nascido no Texas, foi num subúrbio de San Francisco que ele se criou, o que o levou a envolver-se desde cedo com o emergente rock da costa oeste. Na Autumn Records, por exemplo, Sly compôs e produziu hits para grupos como Beau Brummels e o "Great Society", de Grace Slick. Como DJ da KSOL, a segunda rádio black da área, ele dinamitaria a segmentação da emissora ao intercalar singles da Motown e Stax com canções dos Beatles e Bob Dylan.