Durant les années 1904-1905, deux grands registres se remplissent. Parallèlement à la poursuite du travail sur l'attention, Valéry s'attache à la mémoire qui devient bientôt pour lui le problème central, recelant le secret du fonctionnement de l'esprit. Toujours ouverte sur les débats qui dominent l'univers culturel de l'époque, la recherche psychologique reste privilégiée. Mais ces cahiers s'ouvrent aux événements de la vie et du temps. Des remarques sur la politique, sur la littérature moderne, sur la peinture esquissent, par petites touches, le portrait de celui qui écrit, père attentif aussi, mais rêvant de la paix d'une cellule. Une grande page «Mémoire», curieux aperçu biographique, donne une liste d'événements marquants depuis la jeunesse. La pratique littéraire fait retour et s'installe dans l'écriture brève. Presque achevé, le «Logbook de M. Teste» est écrit en 1905. Un projet «Léonard» voit le jour ; resté inabouti il hantera Note et digression.
Ces cahiers seront par la suite souvent relus, de nombreux fragments recopiés sur feuilles volantes ou dans d'autres cahiers, et utilisés dans les œuvres publiées. Ces années mal connues qu'on disait du «Silence» sont celles où l'écriture et la pensée valéryennes s'affirment dans le confort des manuscrits.