Jacques Austerlitz, o personagem principal do livro, é um historiador arquitetônico que encontra e é amigo do narrador solitário em Antuérpia durante os anos 60. Aos poucos vamos compreendendo a sua história de vida. Ele chegou à Grã-Bretanha durante o verão de 1939 como refugiado infantil em um transporte de bondade de uma Checoslováquia ameaçada pelos nazistas de Hitler. Ele foi adotado por um velho pregador galês não-conformista e sua esposa doente, e passou sua infância perto de Bala, Gwynedd, antes de freqüentar uma escola pública menor. Seus pais adotivos morreram, e Austerlitz aprendeu algo de seu passado. Depois da escola ele freqüentou o Oriel College, em Oxford, e tornou-se um acadêmico que é atraído e começou sua pesquisa no estudo da arquitetura européia. Após um colapso nervoso, Austerlitz visitou Praga, onde conheceu uma amiga íntima de seus pais perdidos, Vera, que muitas vezes cuidou de “Jacquot” quando seus pais estavam fora. Enquanto ele fala com ela, as memórias voltam, incluindo expressões francesas e checas que ela lhe ensinou. A senhora idosa conta-lhe o destino de sua mãe, uma atriz e cantora de ópera que foi deportada para o campo de concentração de Theresienstadt. De Praga, Austerlitz viaja para Theresienstadt, e depois de regressar a Inglaterra de comboio, com uma viagem emocionalmente difícil pela Alemanha, consegue obter uma compilação em vídeo de 14 minutos dos destaques de Theresienstadt. Ein Dokumentarfilm aus dem jüdischen Siedlungsgebiet, o filme de propaganda nazista de 1944, no qual ele acredita reconhecer sua mãe. Vera, porém, dispensa a mulher do documentário. Em vez disso, ela confirma a identidade da mãe de Austerlitz em uma fotografia de uma atriz anônima que Austerlitz encontrou nos arquivos teatrais de Praga.
O romance muda para Paris contemporânea enquanto Austerlitz procura qualquer evidência remanescente sobre o destino de seu pai. Ele se encontra com o narrador e lhe conta de sua primeira estada em Paris, em 1959, quando sofreu seu primeiro colapso nervoso e foi hospitalizado; Marie de Verneuil, uma jovem francesa com quem ele se familiarizou na biblioteca, ajuda a cuidar dele de volta à saúde. Sebald explora as formas como colecções de registos, como a Bibliothèque nationale de France ou a Biblioteca Nacional de França, enterram as memórias. Durante o romance, o leitor é levado a fazer uma visita guiada a uma civilização europeia perdida: um mundo de fortalezas, estações ferroviárias, campos de concentração e bibliotecas.