Ele nasceu em Belley, França, em 1 de abril de 1755, numa época em que o Rhône separou a França de Savoy, em uma família de advogados. Ele estudou Direito, Química e Medicina em Dijon. Ele exerceu como advogado em sua cidade natal até 1789, quando foi enviado como deputado ao General das Fazendas, que se tornaria a Assembléia Nacional Francesa, no início da Revolução Francesa, onde ficaria conhecido em grande parte por sua defesa pública da pena de morte.
Ele adotou o sobrenome Savarin após uma herança, na qual sua falecida tia exigiu que ele adotasse o sobrenome como condição para recebê-lo. Durante a Revolução Francesa, um preço foi colocado na cabeça dele. Exilou-se e procurou asilo político, primeiro na Suíça, depois na Holanda e finalmente nos recém fundados Estados Unidos da América, onde passou três anos, em Nova Iorque, Filadélfia e Hartford, onde ganhou a vida a ensinar violino e francês. Durante este tempo ele foi o primeiro violino no Park Theater em Nova Iorque
.