Oakley se narodil v Chicagu, IL, vyrůstal na předměstí Park Forest, IL, poté se přestěhoval na Floridu, kde se připojil ke skupině Dickeyho Bettse The Second Coming. V roce 1969 byl zakládajícím členem skupiny The Allman Brothers Band spolu s kytaristou Duanem Allmanem, Greggem Allmanem, který byl zpěvákem a klávesistou skupiny, Dickey Bettsem, který hrál na spoluzpěv, a bubeníky Butchem Trucksem a Jaiem Johannym „Jaimoe“ Johansonem.
U Allman Brothers byl Oakley známý svými dlouhými, melodickými basovými běhy pod Allmanovými a Bettsovými zuřivými kytarovými sóly a jamy.
„In Memory of Elizabeth Reed“, „Mountain Jam“ a „Whipping Post“ z živého alba At Fillmore East zachycují Oakleyho v jeho nejlepší formě. Oakley byl také členem kapely, který se nejvíce podílel na vytváření domácí jednoty mezi rozšířenou rodinou skupiny. Když Duane Allman zemřel při nehodě na motocyklu, byl Oakley podle bubeníka Butche Truckse zdrcen. Kapela pokračovala v koncertování, ale Oakley „ztratil jiskru“ a během roku, který se měl stát jeho posledním v životě, začal hodně pít.