Oakley nasceu em Chicago, IL, foi criado no subúrbio de Park Forest, IL, depois mudou-se para a Florida onde se juntou à banda de Dickey Betts, The Second Coming. Foi membro fundador da The Allman Brothers Band em 1969, juntamente com o guitarrista Duane Allman, Gregg Allman, que era o vocalista e tecladista da banda, Dickey Betts na co-liderança da guitarra, e os bateristas Butch Trucks e Jai Johanny “Jaimoe” Johanson.
Com os Allman Brothers, Oakley era conhecido por seu longo e melódico baixo, executado sob os solos de guitarra e jams de Allman e Betts.
“In Memory of Elizabeth Reed”, “Mountain Jam” e “Whipping Post” do álbum ao vivo At Fillmore East capture Oakley no seu melhor. Oakley também foi o membro da banda mais envolvido no estabelecimento da unidade doméstica entre a família estendida do grupo. Quando Duane Allman morreu em um acidente de motocicleta, Oakley ficou devastado, segundo o baterista Butch Trucks. A banda continuou em turnê, mas Oakley “perdeu seu brilho” e começou a beber muito durante o que viria a ser seu último ano de vida.