Oakley è nato a Chicago, IL, cresciuto nel sobborgo di Park Forest, IL, poi si è trasferito in Florida dove si è unito alla band di Dickey Betts, The Second Coming. Fu uno dei membri fondatori della Allman Brothers Band nel 1969, insieme al chitarrista Duane Allman, Gregg Allman, che era il cantante e il tastierista della band, Dickey Betts alla chitarra co-lead, e i batteristi Butch Trucks e Jai Johanny “Jaimoe” Johanson.
Con gli Allman Brothers, Oakley era noto per i suoi lunghi e melodici giri di basso sotto i furiosi assoli di chitarra e le jam di Allman e Betts.
“In Memory of Elizabeth Reed”, “Mountain Jam” e “Whipping Post” dall’album live At Fillmore East catturano Oakley al suo meglio. Oakley era anche il membro della band più coinvolto nello stabilire l’unità domestica tra la famiglia allargata del gruppo. Quando Duane Allman morì in un incidente motociclistico, Oakley era devastato, secondo il batterista Butch Trucks. La band continuò a fare tour, ma Oakley “perse la sua scintilla” e iniziò a bere pesantemente durante quello che sarebbe diventato il suo ultimo anno di vita.