Oakley blev født i Chicago, IL, voksede op i forstaden Park Forest, IL, og flyttede derefter til Florida, hvor han blev medlem af Dickey Betts’ band, The Second Coming. Han var et af de stiftende medlemmer af The Allman Brothers Band i 1969 sammen med guitaristen Duane Allman, Gregg Allman, der var bandets sanger og keyboardspiller, Dickey Betts på co-lead guitar og trommeslagerne Butch Trucks og Jai Johanny “Jaimoe” Johanson.
Med Allman Brothers var Oakley kendt for sine lange, melodiske basgange under Allmans og Betts’ rasende guitarsoloer og jams.
“In Memory of Elizabeth Reed”, “Mountain Jam” og “Whipping Post” fra livealbummet At Fillmore East viser Oakley fra hans bedste side. Oakley var også det bandmedlem, der var mest involveret i at skabe hjemligt sammenhold blandt gruppens udvidede familie. Da Duane Allman døde i en motorcykelulykke, var Oakley knust, ifølge trommeslager Butch Trucks. Bandet fortsatte med at turnere, men Oakley “mistede sin gnist” og begyndte at drikke meget i det, der skulle blive hans sidste år i livet.