Oakley werd geboren in Chicago, IL, groeide op in de buitenwijk Park Forest, IL, en verhuisde vervolgens naar Florida waar hij toetrad tot de band van Dickey Betts, The Second Coming. Hij was een stichtend lid van The Allman Brothers Band in 1969, samen met gitarist Duane Allman, Gregg Allman, die zanger en toetsenist van de band was, Dickey Betts op co-lead gitaar, en drummers Butch Trucks en Jai Johanny “Jaimoe” Johanson.
Bij de Allman Brothers stond Oakley bekend om zijn lange, melodieuze basloopjes onder Allman en Betts’ furieuze gitaarsolo’s en jams.
“In Memory of Elizabeth Reed,” “Mountain Jam” en “Whipping Post” van het live-album At Fillmore East leggen Oakley op zijn best vast. Oakley was ook het bandlid dat het meest betrokken was bij het tot stand brengen van huiselijke eenheid onder de uitgebreide familie van de groep. Toen Duane Allman bij een motorongeluk om het leven kwam, was Oakley er volgens drummer Butch Trucks kapot van. De band bleef toeren, maar Oakley “verloor zijn sprankeling” en begon zwaar te drinken tijdens wat zijn laatste levensjaar zou worden.