Jacques Austerlitz, die Hauptfigur des Buches, ist ein Architekturhistoriker, der dem einsamen Erzähler im Antwerpen der 1960er Jahre begegnet und sich mit ihm anfreundet. Nach und nach lernen wir seine Lebensgeschichte kennen. Er kam im Sommer 1939 als Flüchtlingskind mit einem Kindertransport aus der von Hitlers Nazis bedrohten Tschechoslowakei nach Großbritannien. Er wurde von einem älteren walisischen nonkonformistischen Prediger und dessen kränklicher Frau adoptiert und verbrachte seine Kindheit in der Nähe von Bala, Gwynedd, bevor er eine kleine öffentliche Schule besuchte. Seine Pflegeeltern starben, und Austerlitz erfuhr etwas über seine Herkunft. Nach der Schule besuchte er das Oriel College in Oxford und wurde ein Akademiker, der sich zum Studium der europäischen Architektur hingezogen fühlte und mit dessen Erforschung er begann. Nach einem Nervenzusammenbruch besucht Austerlitz Prag, wo er eine enge Freundin seiner verschollenen Eltern, Vera, kennenlernt, die sich oft um „Jacquot“ kümmert, wenn seine Eltern abwesend sind. Im Gespräch mit ihr werden Erinnerungen wach, darunter französische und tschechische Ausdrücke, die sie ihm beigebracht hat. Die ältere Dame erzählt ihm das Schicksal seiner Mutter, einer Schauspielerin und Opernsängerin, die ins Konzentrationslager Theresienstadt deportiert wurde. Von Prag aus reist Austerlitz nach Theresienstadt, und nach seiner Rückkehr nach England mit dem Zug und einer emotional schwierigen Reise durch Deutschland gelingt es ihm, einen 14-minütigen Videomitschnitt von Höhepunkten aus Theresienstadt zu erhalten. Ein Dokumentarfilm aus dem jüdischen Siedlungsgebiet, dem NS-Propagandafilm von 1944, in dem er seine Mutter zu erkennen glaubt. Vera jedoch weist die Frau aus dem Dokumentarfilm zurück. Stattdessen bestätigt sie die Identität von Austerlitz‘ Mutter auf dem Foto einer anonymen Schauspielerin, das Austerlitz im Prager Theaterarchiv gefunden hat.
Der Roman verlagert sich in das Paris der Gegenwart, wo Austerlitz nach weiteren Hinweisen auf das Schicksal seines Vaters sucht. Er trifft sich mit dem Erzähler und erzählt ihm von seinem ersten Aufenthalt in Paris im Jahr 1959, als er seinen ersten Nervenzusammenbruch erlitt und ins Krankenhaus eingeliefert wurde; Marie de Verneuil, eine junge Französin, die er in der Bibliothek kennengelernt hat, hilft ihm, wieder gesund zu werden. Sebald untersucht die Art und Weise, in der Sammlungen von Aufzeichnungen, wie die Bibliothèque nationale de France oder Nationalbibliothek von Frankreich, Erinnerungen begraben. Im Laufe des Romans wird der Leser auf einen Rundgang durch eine verlorene europäische Zivilisation mitgenommen: eine Welt der Festungen, Bahnhöfe, Konzentrationslager und Bibliotheken.