Oakley est né à Chicago, IL, a grandi dans la banlieue de Park Forest, IL, puis a déménagé en Floride où il a rejoint le groupe de Dickey Betts, The Second Coming. Il est un membre fondateur de The Allman Brothers Band en 1969, avec le guitariste Duane Allman, Gregg Allman, qui était le chanteur et le claviériste du groupe, Dickey Betts à la guitare co-chef, et les batteurs Butch Trucks et Jai Johanny « Jaimoe » Johanson.
Avec les Allman Brothers, Oakley était connu pour ses longues courses de basse mélodiques sous les solos de guitare et les jams furieux d’Allman et Betts.
« In Memory of Elizabeth Reed », « Mountain Jam » et « Whipping Post » de l’album live At Fillmore East capturent Oakley à son meilleur. Oakley était également le membre du groupe le plus impliqué dans l’établissement d’une unité domestique au sein de la famille élargie du groupe. Lorsque Duane Allman meurt dans un accident de moto, Oakley est dévasté, selon le batteur Butch Trucks. Le groupe a continué à tourner, mais Oakley a « perdu son étincelle » et a commencé à boire beaucoup pendant ce qui allait devenir sa dernière année de vie.