Oakley föddes i Chicago, IL, växte upp i förorten Park Forest, IL och flyttade sedan till Florida där han gick med i Dickey Betts band The Second Coming. Han var en av grundarna av The Allman Brothers Band 1969, tillsammans med gitarristen Duane Allman, Gregg Allman, som var bandets sångare och keyboardist, Dickey Betts på co-leadgitarr samt trummisarna Butch Trucks och Jai Johanny ”Jaimoe” Johanson.
Med Allman Brothers var Oakley känd för sina långa, melodiska basgångar under Allmans och Betts rasande gitarrsolon och jams.
”In Memory of Elizabeth Reed”, ”Mountain Jam” och ”Whipping Post” från livealbumet At Fillmore East fångar Oakley när han är som bäst. Oakley var också den bandmedlem som var mest involverad i att skapa en inhemsk enhet bland gruppens utvidgade familj. När Duane Allman dog i en motorcykelolycka var Oakley förkrossad, enligt trummisen Butch Trucks. Bandet fortsatte att turnera, men Oakley ”förlorade sin gnista” och började dricka mycket under det som skulle bli hans sista år i livet.