Jacques Austerlitz, el protagonista del libro, es un historiador de la arquitectura que se encuentra y se hace amigo del solitario narrador en Amberes durante la década de 1960. Poco a poco vamos comprendiendo la historia de su vida. Llegó a Gran Bretaña durante el verano de 1939 como un niño refugiado en un transporte de parvulario desde una Checoslovaquia amenazada por los nazis de Hitler. Fue adoptado por un anciano predicador galés no conformista y su esposa enferma, y pasó su infancia cerca de Bala, Gwynedd, antes de asistir a una escuela pública menor. Sus padres adoptivos murieron, y Austerlitz aprendió algo de su origen. Después de la escuela, asistió al Oriel College de Oxford y se convirtió en un académico que se siente atraído por el estudio de la arquitectura europea y comenzó a investigarlo. Tras una crisis nerviosa, Austerlitz visitó Praga, donde conoció a una amiga íntima de sus padres perdidos, Vera, que a menudo cuidaba de «Jacquot» cuando sus padres estaban fuera. Mientras habla con ella, vuelven los recuerdos, incluidas las expresiones francesas y checas que ella le enseñó. La anciana le cuenta el destino de su madre, una actriz y cantante de ópera que fue deportada al campo de concentración de Theresienstadt. Desde Praga, Austerlitz viaja a Theriesenstadt, y tras regresar a Inglaterra en tren, con un viaje emocionalmente difícil a través de Alemania, consigue obtener una recopilación en vídeo de 14 minutos de lo más destacado de Theresienstadt. Ein Dokumentarfilm aus dem jüdischen Siedlungsgebiet, la película de propaganda nazi de 1944, en la que cree reconocer a su madre. Sin embargo, Vera descarta a la mujer del documental. En cambio, confirma la identidad de la madre de Austerlitz en una fotografía de una actriz anónima que Austerlitz encontró en los archivos teatrales de Praga.
La novela se traslada al París contemporáneo mientras Austerlitz busca cualquier prueba que quede sobre el destino de su padre. Se encuentra con el narrador y le cuenta su primera estancia en París, en 1959, cuando sufrió su primera crisis nerviosa y fue hospitalizado; Marie de Verneuil, una joven francesa con la que se relacionó en la biblioteca, le ayuda a recuperar la salud. Sebald explora el modo en que las colecciones de registros, como la Bibliothèque nationale de France o Biblioteca Nacional de Francia, sepultan los recuerdos. A lo largo de la novela, el lector realiza una visita guiada a una civilización europea perdida: un mundo de fortalezas, estaciones de tren, campos de concentración y bibliotecas.