Kirjan päähenkilö Jacques Austerlitz on arkkitehtuurihistorioitsija, joka kohtaa yksinäisen kertojan Antwerpenissä 1960-luvulla ja ystävystyy hänen kanssaan. Vähitellen ymmärrämme hänen elämänhistoriansa. Hän saapui Britanniaan kesällä 1939 pikkupakolaisena lastenkuljetuksella Tšekkoslovakiasta, jota Hitlerin natsit uhkasivat. Hänet adoptoi vanhempi walesilainen nonkonformistisaarnaaja ja hänen sairas vaimonsa, ja hän vietti lapsuutensa lähellä Balaa, Gwyneddissä, ennen kuin kävi pientä julkista koulua. Hänen kasvattivanhempansa kuolivat, ja Austerlitz sai tietää jotain taustastaan. Koulun jälkeen hän opiskeli Oriel Collegessa Oxfordissa, ja hänestä tuli akateemikko, jota viehättää eurooppalaisen arkkitehtuurin tutkimus ja jonka parissa hän aloitti tutkimuksensa. Hermoromahduksen jälkeen Austerlitz vieraili Prahassa, jossa hän tapasi kadonneiden vanhempiensa läheisen ystävän, Veran, joka usein huolehti ”Jacquotista”, kun hänen vanhempansa olivat poissa. Kun hän puhuu hänen kanssaan, muistot palaavat, mukaan lukien ranskalaiset ja tšekkiläiset ilmaisut, jotka hän opetti hänelle. Iäkäs nainen kertoo hänelle hänen äitinsä, Theresienstadtin keskitysleirille karkotetun näyttelijän ja oopperalaulajan kohtalosta. Prahasta Austerlitz matkustaa Theriesenstadtiin, ja palattuaan junalla Englantiin ja tehtyään henkisesti vaikean matkan Saksan halki hän onnistuu hankkimaan 14-minuuttisen videokoosteen Theresienstadtin kohokohdista. Ein Dokumentarfilm aus dem jüdischen Siedlungsgebiet, natsien propagandafilmi vuodelta 1944, jossa hän uskoo tunnistavansa äitinsä. Vera kuitenkin hylkää naisen dokumenttielokuvasta. Sen sijaan hän vahvistaa Austerlitzin äidin henkilöllisyyden nimettömän näyttelijättären valokuvasta, jonka Austerlitz löysi Prahan teatteriarkistosta.
Romaani siirtyy nykypäivän Pariisiin Austerlitzin etsiessä jäljellä olevia todisteita isänsä kohtalosta. Hän tapaa kertojan ja kertoo tälle ensimmäisestä oleskelustaan Pariisissa vuonna 1959, jolloin hän sai ensimmäisen hermoromahduksen ja joutui sairaalaan; Marie de Verneuil, nuori ranskalaisnainen, johon hän tutustui kirjastossa, auttaa häntä hoitamaan häntä takaisin terveeksi. Sebald tutkii tapoja, joilla arkistokokoelmat, kuten Bibliothèque nationale de France eli Ranskan kansalliskirjasto, hautaavat muistoja. Romaanin aikana lukija viedään opastetulle kierrokselle kadonneeseen eurooppalaiseen sivilisaatioon: linnoitusten, rautatieasemien, keskitysleirien ja kirjastojen maailmaan.