Mas ele não era muito conhecido até seu primeiro disco de sucesso sob seu próprio nome, uma versão de ”Ain’t Nobody’s Business”, feita em 1949, com o Sr. McShann tocando piano. Tornou-se um hit número 1 nas paradas de rhythm-and-blues por 34 semanas. Embora mais tarde ele tenha dito ao escritor Arnold Shaw que recebia uma taxa fixa e não ganhava royalties com isso, a música fez sua carreira e levou a uma série de sucessos em meados dos anos 50.

Sua popularidade veio, no entanto, logo no advento do rock-and-roll, e esse momento ruim afetaria profundamente seu futuro. Para o novo público do rock-and-roll, sua estatura foi rapidamente esquecida. Ele se voltou cada vez mais para o jazz, gravando para muitas gravadoras ao longo dos anos 50, incluindo a Atlantic Records, para quem fez um álbum em 1956 com a Wilbur de Paris New Orleans Jazz Band.

Mas sua performance de retorno no Monterey Jazz Festival de 1959, em um grupo de estrelas incluindo Ben Webster, Coleman Hawkins e Earl Hines, mudou as coisas. Ele era uma propriedade valiosa novamente, em turnê com os grupos de jazz de Count Basie e Buck Clayton (1911 – 1991). Ele se apresentou com organistas como Jack McDuff (1926 – 2001) e Richard (Groove) Holmes e participou do revival do blues no final dos anos 60, acompanhado por músicos brancos de blues-rock.

Durante os anos 60, ele também fez gravações com o trompetista de jazz Harry (Sweets) Edison (1915 – 1999), o cantor Jon Hendricks e o saxofonista barítono Gerry Mulligan.

Assim como seu ídolo, Big Joe Turner, assim como Jimmy Rushing e Eddie (Cleanhead) Vinson (1917–1988), o Sr. Witherspoon era um cantor que tinha cidadania compartilhada nos mundos do blues e do jazz. ”Eles me chamam de cantor de R&B”, ele disse ao Sr. Shaw. ”Eu sou um cantor! Eu posso cantar baladas; eu posso cantar na igreja; eu posso cantar Dixieland.”

Apesar dos problemas de saúde, incluindo câncer de garganta, que foi operado em meados dos anos 80, o Sr. Witherspoon persistiu. Ele frequentemente trabalhava com o guitarrista Robben Ford e aparecia como cantor convidado em vários shows de Van Morrison durante os últimos cinco anos; sua voz tinha apenas um traço de sua antiga glória. Seus últimos shows foram em meados de julho no Yoshi’s, uma boate em Oakland, Califórnia.

Ele deixa sua esposa, Diana, de Sacramento, Califórnia; sua irmã, Jimmie-Lois Witherspoon, de Los Angeles; seu irmão, Leonard, de São Francisco; três filhos, Angela Witherspoon-Ballard, Regina Witherspoon-Welch e James Witherspoon Jr., todos de Sacramento, e quatro netos.