A franciaországi Belley-ben született 1755. április 1-jén, abban az időben, amikor a Rhône elválasztotta Franciaországot Savoyától, ügyvédi családban. Dijonban jogot, kémiát és orvostudományt tanult. Szülővárosában ügyvédként praktizált 1789-ig, amikor a francia forradalom kezdetén képviselőként bekerült a francia nemzetgyűléssé alakuló Estates Generalba, ahol nagyrészt a halálbüntetés nyilvános támogatásáról vált ismertté.
A Savarin vezetéknevet egy örökséget követően vette fel, amelyben néhai nagynénje a vezetéknév felvételét követelte tőle, mint a behajtás feltételét. A francia forradalom idején vérdíjat tűztek ki a fejére. Száműzetésbe vonult és politikai menedékjogot kért, először Svájcban, majd Hollandiában, végül az újonnan alapított Amerikai Egyesült Államokban, ahol három évet töltött New Yorkban, Philadelphiában és Hartfordban, ahol hegedűt és franciát tanított. Ez idő alatt első hegedűs volt a New York-i Park Theaterben
.