Jacques Austerlitz, bogens hovedperson, er en arkitekturhistoriker, der møder og bliver venner med den ensomme fortæller i Antwerpen i 1960’erne. Gradvist kommer vi til at forstå hans livshistorie. Han ankom til Storbritannien i sommeren 1939 som lille flygtning på en børnetransport fra et Tjekkoslovakiet, der var truet af Hitlers nazister. Han blev adopteret af en ældre walisisk nonkonformistisk præst og hans syge kone og tilbragte sin barndom i nærheden af Bala i Gwynedd, før han gik i en mindre offentlig skole. Hans plejeforældre døde, og Austerlitz fik noget at vide om sin baggrund. Efter skolen gik han på Oriel College i Oxford og blev en akademiker, der tiltrækkes af og begynder at forske i studiet af europæisk arkitektur. Efter et nervesammenbrud besøgte Austerlitz Prag, hvor han mødte en nær veninde til sine forsvundne forældre, Vera, som ofte tog sig af “Jacquot”, når hans forældre var bortrejst. Da han taler med hende, vender minderne tilbage, herunder franske og tjekkiske udtryk, som hun lærte ham. Den ældre dame fortæller ham om sin mors skæbne, en skuespillerinde og operasangerinde, som blev deporteret til koncentrationslejren Theresienstadt. Fra Prag rejser Austerlitz til Theresienstadt, og efter at være vendt tilbage til England med tog, med en følelsesmæssigt vanskelig rejse gennem Tyskland, lykkes det ham at få fat i en 14-minutters videosamling af højdepunkter fra Theresienstadt. Ein Dokumentarfilm aus dem jüdischen Siedlungsgebiet, den nazistiske propagandafilm fra 1944, hvor han mener at kunne genkende sin mor. Vera afviser imidlertid kvinden fra dokumentarfilmen. I stedet bekræfter hun Austerlitz’ mors identitet på et fotografi af en anonym skuespillerinde, som Austerlitz har fundet i teaterarkiverne i Prag.
Romanen skifter til nutidens Paris, hvor Austerlitz søger efter eventuelle resterende beviser på sin fars skæbne. Han mødes med fortælleren og fortæller ham om sit første ophold i Paris i 1959, hvor han fik sit første nervesammenbrud og blev indlagt på hospitalet; Marie de Verneuil, en ung fransk kvinde, som han stiftede bekendtskab med på biblioteket, hjælper ham med at pleje ham tilbage til helbredet. Sebald undersøger de måder, hvorpå samlinger af arkivalier, som Bibliothèque nationale de France eller Frankrigs nationalbibliotek, begraver erindringer. I løbet af romanen bliver læseren taget med på en guidet tur i en tabt europæisk civilisation: en verden af fæstninger, jernbanestationer, koncentrationslejre og biblioteker.