Natural de Chicago, Young primeiro tocou guitarra, depois mudou para baixo. Depois de se formar no ensino médio, Young saiu na estrada como músico de jazz, às vezes tocando com os cantores de blues Joe Turner e Joe Williams.

Foi sua passagem pelo Ramsey Lewis Trio, com Lewis no piano e Redd Holt (1932 – 2023) na bateria, nas décadas de 1950 e 1960, que o tornou uma figura amplamente reconhecida.

Ao se apresentar, Young frequentemente se aventurava além do contrabaixo para tocar violoncelo ou cantar — uma reminiscência dos primeiros músicos de jazz que se esforçavam além para entreter o público.

Sua permanência no Ramsey Lewis Trio — Redd Holt tocava bateria — nas décadas de 1950 e 1960 o tornou uma figura extremamente reconhecida.

O trio se separou em meados da década de 1960, e Young e Holt tocaram juntos na banda de soul Young-Holt Unlimited.

A separação do trio em meados da década de 1960 foi uma decepção para Young, que a comparou a uma separação familiar.

No final dos anos 1960 e 1970, Young co-liderou várias bandas com Holt. Na década de 1980, ele começou a se apresentar na Ásia, encontrando-se requisitado em Cingapura, Vietnã, Índia, Malásia e outros lugares. Young dividiu seu tempo entre Chicago e a Ásia.