Un jeune médecin, le docteur Desportes, s'installe à Jullianges, petite ville d'une banlieue ouvrière ; il a occupé jusque-là un poste dans une usine de la même région. Cette expérience a été pour lui un échec. De plus, s'étant séparé de sa femme, il vivait solitaire et c'est en solitaire qu'il organise sa vie à Jullianges.
À son arrivée, l'instituteur, André Rivoire, qui deviendra son ami, lui brosse un tableau pacifique de ses nouveaux concitoyens que n'agitent plus guère les passions politiques ou métaphysiques. Un modeste confort règne sous les brumes de Jullianges où seul un enterrement soulève parfois une fugitive question.
Rivoire croit à la vertu laïque et se donne à son métier, tandis que Desportes découvre peu à peu que sous l'apparente tranquillité de la cité germent pour certains des inquiétudes.
Il est frappé par la forte proportion de malades mentaux qui hantent son cabinet.
Rivoire, lui-même, traversé par l'idée que sa mère, avec laquelle il vit, mourra un jour, interprète cette mort comme une sanction. Il en vient à rechercher en raison de quelle faute cette peine lui sera un jour appliquée. Desportes assiste, impuissant, à l'instruction de ce procès sans issue qui conduira l'instituteur à la démence.
Dans sa faillite, Desporte puise un réconfort dans la sagesse des lettres qu'Albert Camus, auquel il a confié ses doutes, lui écrit, et dans l'amitié du vieil industriel Philippe de Vignolle.
Mais Camus meurt. De Vignolle, quoique menacé par des troubles cardiaques et pressentant sa fin, oppose sa sérénité aux inquiétudes du médecin. Il lui conseille de reprendre la vie commune avec sa femme. Desportes s'y décide sans enthousiasme. Peut-être, avec elle, retrouvera-t-il la terre?
La mémoire chargée du souvenir des «Passants », il continuera à faire son métier de médecin, à se poser des questions auxquelles il ne pourra donner de réponses et c'est à Camus qu'il ne cessera de s'adresser en pensée pour qu'il l'aide à trouver son chemin.