Jacques Austerlitz, de hoofdpersoon in het boek, is een architectuurhistoricus die de eenzame verteller ontmoet en met hem bevriend raakt in het Antwerpen van de jaren zestig. Geleidelijk komen we meer te weten over zijn levensgeschiedenis. Hij kwam in de zomer van 1939 als kleine vluchteling met een kindertransport uit een door Hitlers nazi’s bedreigd Tsjecho-Slowakije in Groot-Brittannië aan. Hij werd geadopteerd door een oudere non-conformistische predikant uit Wales en zijn zieke vrouw, en bracht zijn jeugd door in de buurt van Bala, Gwynedd, voordat hij naar een kleine openbare school ging. Zijn pleegouders overleden, en Austerlitz leerde iets van zijn achtergrond. Na zijn schooltijd ging hij naar Oriel College, Oxford en werd een academicus die zich aangetrokken voelde tot, en zijn onderzoek begon in, de studie van de Europese architectuur. Na een zenuwinzinking bezocht Austerlitz Praag, waar hij een goede vriendin van zijn verdwenen ouders ontmoette, Vera, die vaak voor “Jacquot” zorgde als zijn ouders weg waren. Als hij met haar praat, komen herinneringen terug, waaronder Franse en Tsjechische uitdrukkingen die zij hem geleerd heeft. De oudere dame vertelt hem het lot van zijn moeder, een actrice en operazangeres die naar het concentratiekamp Theresienstadt gedeporteerd werd. Vanuit Praag reist Austerlitz naar Theriesenstadt, en na terugkeer in Engeland per trein, met een emotioneel moeilijke reis door Duitsland, slaagt hij erin een 14 minuten durende videocompilatie van hoogtepunten uit Theresienstadt te bemachtigen. Ein Dokumentarfilm aus dem jüdischen Siedlungsgebiet uit 1944, de propagandafilm van de nazi’s, waarin hij zijn moeder meent te herkennen. Vera wijst de vrouw uit de documentaire echter af. In plaats daarvan bevestigt ze de identiteit van Austerlitz’ moeder op een foto van een anonieme actrice die Austerlitz vond in de Praagse theaterarchieven.
De roman verschuift naar het hedendaagse Parijs waar Austerlitz op zoek gaat naar enig overgebleven bewijs over het lot van zijn vader. Hij ontmoet de verteller en vertelt hem over zijn eerste verblijf in Parijs, in 1959, toen hij zijn eerste zenuwinzinking kreeg en in het ziekenhuis werd opgenomen; Marie de Verneuil, een jonge Française met wie hij in de bibliotheek kennismaakte, helpt hem weer gezond te maken. Sebald verkent de manier waarop collecties van archiefstukken, zoals de Bibliothèque nationale de France of Nationale Bibliotheek van Frankrijk, herinneringen begraven. In de loop van de roman wordt de lezer meegenomen op een rondleiding door een verloren Europese beschaving: een wereld van forten, stations, concentratiekampen en bibliotheken.