Jacques Austerlitz, bokens huvudperson, är en arkitekturhistoriker som möter och blir vän med den ensamma berättaren i Antwerpen på 1960-talet. Gradvis kommer vi att förstå hans livshistoria. Han anlände till Storbritannien sommaren 1939 som flyktingbarn på en barntransport från ett Tjeckoslovakien som hotades av Hitlers nazister. Han adopterades av en äldre walesisk nonkonformistisk predikant och hans sjuka hustru och tillbringade sin barndom nära Bala, Gwynedd, innan han gick i en mindre offentlig skola. Hans fosterföräldrar dog och Austerlitz fick veta något om sin bakgrund. Efter skolan gick han på Oriel College i Oxford och blev en akademiker som dras till, och började forska i, studiet av europeisk arkitektur. Efter ett nervöst sammanbrott besökte Austerlitz Prag, där han träffade en nära vän till sina förlorade föräldrar, Vera, som ofta tog hand om ”Jacquot” när föräldrarna var borta. När han talar med henne återkommer minnen, bland annat franska och tjeckiska uttryck som hon lärde honom. Den äldre kvinnan berättar för honom om hans mors öde, en skådespelerska och operasångerska som deporterades till koncentrationslägret Theresienstadt. Från Prag reser Austerlitz till Theresienstadt, och efter att ha återvänt till England med tåg, med en känslomässigt svår resa genom Tyskland, lyckas han få tag på en 14 minuter lång videosamling med höjdpunkter från Theresienstadt. Ein Dokumentarfilm aus dem jüdischen Siedlungsgebiet, den nazistiska propagandafilmen från 1944, där han tror sig känna igen sin mor. Vera avfärdar dock kvinnan från dokumentärfilmen. Istället bekräftar hon identiteten på Austerlitz mor i ett fotografi av en anonym skådespelerska som Austerlitz hittade i Prags teaterarkiv.
Romanen förflyttar sig till det samtida Paris när Austerlitz letar efter eventuella kvarvarande bevis om sin fars öde. Han träffar berättaren och berättar om sin första vistelse i Paris 1959, då han drabbades av sitt första nervösa sammanbrott och lades in på sjukhus. Marie de Verneuil, en ung fransyska som han lärde känna i biblioteket, hjälper honom att bli frisk igen. Sebald utforskar hur samlingar av dokument, som Bibliothèque nationale de France eller Frankrikes nationalbibliotek, gräver ner minnen. Under romanens gång tas läsaren med på en guidad tur i en förlorad europeisk civilisation: en värld av fästningar, järnvägsstationer, koncentrationsläger och bibliotek.