Jacques Austerlitz, le personnage principal du livre, est un historien de l’architecture qui rencontre et se lie d’amitié avec le narrateur solitaire à Anvers dans les années 1960. Peu à peu, nous comprenons l’histoire de sa vie. Il est arrivé en Grande-Bretagne au cours de l’été 1939 en tant que nourrisson réfugié dans un transport pour enfants en provenance d’une Tchécoslovaquie menacée par les nazis d’Hitler. Il a été adopté par un prédicateur non-conformiste gallois âgé et sa femme malade, et a passé son enfance près de Bala, Gwynedd, avant de fréquenter une école publique mineure. Ses parents adoptifs sont décédés, et Austerlitz a appris quelque chose sur ses origines. Après l’école, il fréquente l’Oriel College d’Oxford et devient un universitaire attiré par l’étude de l’architecture européenne, dans laquelle il entame des recherches. Après une dépression nerveuse, Austerlitz se rend à Prague, où il rencontre une amie proche de ses parents disparus, Vera, qui s’occupe souvent de « Jacquot » lorsque ses parents sont absents. Au fur et à mesure qu’il parle avec elle, des souvenirs reviennent, notamment des expressions françaises et tchèques qu’elle lui a enseignées. La vieille dame lui raconte le destin de sa mère, une actrice et chanteuse d’opéra qui a été déportée au camp de concentration de Theresienstadt. De Prague, Austerlitz se rend à Theresienstadt et, après avoir regagné l’Angleterre en train, après un voyage émotionnellement difficile à travers l’Allemagne, il parvient à obtenir une compilation vidéo de 14 minutes des moments forts de Theresienstadt. Ein Dokumentarfilm aus dem jüdischen Siedlungsgebiet, le film de propagande nazi de 1944, dans lequel il croit reconnaître sa mère. Vera, cependant, écarte la femme du documentaire. Au lieu de cela, elle confirme l’identité de la mère d’Austerlitz sur une photographie d’une actrice anonyme qu’Austerlitz a trouvée dans les archives théâtrales de Prague.
Le roman se déplace dans le Paris contemporain alors qu’Austerlitz cherche à trouver toute preuve restante sur le sort de son père. Il rencontre le narrateur et lui raconte son premier séjour à Paris, en 1959, lorsqu’il a fait sa première dépression nerveuse et a été hospitalisé ; Marie de Verneuil, une jeune Française avec laquelle il a fait connaissance à la bibliothèque, l’aide à se rétablir. Sebald explore la manière dont les collections de documents, telles que la Bibliothèque nationale de France, enfouissent les souvenirs. Au cours du roman, le lecteur est emmené dans une visite guidée d’une civilisation européenne perdue : un monde de forteresses, de gares, de camps de concentration et de bibliothèques.