Oakley wurde in Chicago, IL, geboren, wuchs in dem Vorort Park Forest, IL, auf und zog dann nach Florida, wo er sich Dickey Betts‘ Band The Second Coming anschloss. Er war 1969 Gründungsmitglied der Allman Brothers Band, zusammen mit dem Gitarristen Duane Allman, Gregg Allman, der Sänger und Keyboarder der Band war, Dickey Betts an der Co-Lead-Gitarre und den Schlagzeugern Butch Trucks und Jai Johanny „Jaimoe“ Johanson.
Bei den Allman Brothers war Oakley bekannt für seine langen, melodischen Bassläufe unter Allmans und Betts‘ furiosen Gitarrensoli und Jams.
„In Memory of Elizabeth Reed“, „Mountain Jam“ und „Whipping Post“ vom Live-Album At Fillmore East zeigen Oakley von seiner besten Seite. Oakley war auch das Bandmitglied, das am meisten dazu beitrug, die häusliche Einheit in der Großfamilie der Gruppe herzustellen. Als Duane Allman bei einem Motorradunfall ums Leben kam, war Oakley am Boden zerstört, wie Schlagzeuger Butch Trucks berichtet. Die Band tourte weiter, aber Oakley „verlor sein Funkeln“ und begann in seinem letzten Lebensjahr stark zu trinken.