Oakley nació en Chicago, IL, se crió en el suburbio de Park Forest, IL, y luego se trasladó a Florida donde se unió a la banda de Dickey Betts, The Second Coming. Fue miembro fundador de The Allman Brothers Band en 1969, junto con el guitarrista Duane Allman, Gregg Allman, que era el vocalista y teclista de la banda, Dickey Betts en la guitarra co-líder, y los bateristas Butch Trucks y Jai Johanny «Jaimoe» Johanson.
Con los Allman Brothers, Oakley era conocido por sus largas y melódicas ejecuciones de bajo bajo los furiosos solos de guitarra y jams de Allman y Betts.
«In Memory of Elizabeth Reed», «Mountain Jam» y «Whipping Post» del álbum en directo At Fillmore East capturan a Oakley en su mejor momento. Oakley fue también el miembro de la banda más implicado en el establecimiento de la unidad doméstica entre la extensa familia del grupo. Cuando Duane Allman murió en un accidente de motocicleta, Oakley quedó devastado, según el baterista Butch Trucks. La banda continuó con las giras, pero Oakley «perdió la chispa» y empezó a beber en exceso durante el que sería su último año de vida.