Jacques Austerlitz, hlavní postava knihy, je historik architektury, který se v Antverpách v 60. letech 20. století setkává s osamělým vypravěčem a přátelí se s ním. Postupně poznáváme jeho životní příběh. Do Británie přijel v létě roku 1939 jako dětský uprchlík v kindertransportu z Československa ohroženého hitlerovskými nacisty. Byl adoptován starším velšským nonkonformním kazatelem a jeho nemocnou ženou a dětství prožil poblíž města Bala v Gwyneddu, kde navštěvoval menší státní školu. Jeho pěstouni zemřeli a Austerlitz se dozvěděl něco o svém původu. Po škole navštěvoval Oriel College v Oxfordu a stal se akademikem, kterého přitahuje studium evropské architektury a začal se jím zabývat. Po nervovém zhroucení navštívil Austerlitz Prahu, kde se seznámil s blízkou přítelkyní svých ztracených rodičů Věrou, která se o „Jacquota“ často starala, když byli jeho rodiče pryč. Při rozhovoru s ní se mu vracejí vzpomínky, včetně francouzských a českých výrazů, které ho naučila. Starší dáma mu vypráví o osudu své matky, herečky a operní pěvkyně, která byla deportována do koncentračního tábora Terezín. Z Prahy se Austerlitz vydává do Terezína a po návratu do Anglie vlakem, s emočně náročnou cestou přes Německo, se mu podaří získat čtrnáctiminutovou video kompilaci s nejdůležitějšími okamžiky z Terezína. Ein Dokumentarfilm aus dem jüdischen Siedlungsgebiet, nacistický propagandistický film z roku 1944, v němž podle něj poznává svou matku. Vera však ženu z dokumentu odmítá. Místo toho potvrdí totožnost Austerlitzovy matky na fotografii anonymní herečky, kterou Austerlitz našel v pražském divadelním archivu.
Román se přesouvá do současné Paříže, kde Austerlitz hledá všechny zbývající důkazy o osudu svého otce. Setkává se s vypravěčem a vypráví mu o svém prvním pobytu v Paříži v roce 1959, kdy se poprvé nervově zhroutil a byl hospitalizován; Marie de Verneuil, mladá Francouzka, s níž se seznámil v knihovně, mu pomáhá s ošetřováním. Sebald zkoumá způsoby, jakými sbírky záznamů, jako je Bibliothèque nationale de France neboli Francouzská národní knihovna, pohřbívají vzpomínky. Během románu se čtenář vydává na exkurzi do ztracené evropské civilizace: do světa pevností, nádraží, koncentračních táborů a knihoven.