Aux environs de Paris, le collège de Valvert, surnommé le Château en raison de son parc, de ses pavillons et de ses bois, a pour pensionnaires de «braves garçons» plus ou moins abandonnés par leurs familles - des gens riches ou ruinés, instables, cosmopolites, suspects. Ils y poursuivent leurs études en nouant des amitiés, soit entre eux, soit avec leurs professeurs tout aussi pittoresques. Puis la vie les disperse.
Vingt ans passent. Grâce à sa mémoire en pointe sèche et à sa curiosité, le narrateur - qui est peut-être Modiano lui-même - recompose l'atmosphère ancienne tout en menant une sorte d'enquête sur ce que le temps a pu faire de ses anciens camarades.
Ces souvenirs rejoignent sans cesse le présent, au fil d'une réalité faite de rêve et de nostalgie.