Jacques Austerlitz, a könyv főszereplője egy építészettörténész, aki az 1960-as években Antwerpenben találkozik a magányos elbeszélővel, és összebarátkozik vele. Fokozatosan megismerjük az élettörténetét. A hitleri nácik által fenyegetett Csehszlovákiából érkezett Nagy-Britanniába 1939 nyarán, csecsemő menekültként egy kindertranszporton. Egy idős walesi nonkonformista prédikátor és betegeskedő felesége fogadta örökbe, és gyermekkorát a gwyneddi Bala közelében töltötte, majd egy kisebb állami iskolába járt. Nevelőszülei meghaltak, és Austerlitz megtudott valamit a származásáról. Az iskola után az oxfordi Oriel College-ba járt, és akadémikus lett, aki az európai építészet tanulmányozásához vonzódott, és azzal kezdett el foglalkozni. Egy idegösszeomlás után Austerlitz Prágába látogatott, ahol megismerkedett elveszett szülei egyik közeli barátnőjével, Verával, aki gyakran vigyázott “Jacquot”-ra, amikor a szülei távol voltak. Ahogy beszélget vele, visszatérnek az emlékek, köztük a francia és cseh kifejezések, amelyeket tőle tanult. Az idős hölgy elmeséli neki édesanyja sorsát, aki színésznő és operaénekesnő volt, és akit a theresienstadti koncentrációs táborba deportáltak. Prágából Austerlitz elutazik Theriesenstadtba, és miután vonattal visszatér Angliába, egy érzelmileg nehéz németországi utazással, sikerül megszereznie egy 14 perces videóösszeállítást a Theresienstadtban történt legfontosabb eseményekről. Ein Dokumentarfilm aus dem jüdischen Siedlungsgebiet, az 1944-es náci propagandafilm, amelyben felismerni véli édesanyját. Vera azonban elveti a nőt a dokumentumfilmből. Ehelyett megerősíti Austerlitz anyjának személyazonosságát egy névtelen színésznőről készült fényképen, amelyet Austerlitz a prágai színházi archívumban talált.
A regény a korabeli Párizsba helyeződik át, miközben Austerlitz az apja sorsával kapcsolatban fennmaradt bizonyítékok után kutat. Találkozik az elbeszélővel, és elmeséli neki első párizsi tartózkodását 1959-ben, amikor először szenvedett idegösszeomlást, és kórházba került; Marie de Verneuil, egy fiatal francia nő, akivel a könyvtárban ismerkedett meg, segít ápolni őt. Sebald azt vizsgálja, hogy az olyan iratgyűjtemények, mint a Bibliothèque nationale de France vagy a Francia Nemzeti Könyvtár, milyen módon temetik magukba az emlékeket. A regény során az olvasó egy elveszett európai civilizációba kalauzolja el magát: erődök, pályaudvarok, koncentrációs táborok és könyvtárak világába.