Entre 1853 et 1856, Melville publie près d'une quinzaine de contes et de courts récits dans des magazines. Certains d'entre eux connaîtront un destin exceptionnel, comme «Les Encantadas», suite de croquis consacrés aux îles Galápagos, «Benito Cereno», inoubliable relation de la révolte d'un navire négrier, et ce qui est sans doute la «tragédie urbaine» la plus célèbre de l'histoire de la littérature : «Bartleby le scribe», dont on n'aura jamais fini d'interroger le mystère, qui est un mystère sans secret.
Melville n'en a pourtant pas terminé avec les formes longues. Il travaille à un feuilleton, Israël Potter, tout à la fois biographie (largement fictionnelle) d'un héros obscur de la guerre d'indépendance, réflexion ironique sur l'Histoire et sur l'écriture de l'Histoire, et méditation sur la banqueroute des ambitions humaines : peut-être le plus intimement autobiographique de ses écrits. Israël Potter paraît en volume en 1855, deux avant un roman méconnu, singulier, à découvrir, L'Escroc à la confiance. Trois chapitres y forment une sorte d'«art poétique», et tout y est problématique, du narrateur aux personnages en passant par la construction du sens, qui échoit au lecteur lui-même. L'Escroc est un roman pour notre temps ; il n'y a pas lieu de s'étonner qu'il ait laissé les critiques de 1857 aussi perplexes que l'employeur de Bartleby face à son clerc. Melville n'y gagne pas un penny. Il va désormais se consacrer à la poésie, pendant trente ans – et aux douanes de New York, qui l'emploieront vingt années durant.
Il doit lutter pour que ses œuvres poétiques soient publiées. Lorsqu'elles le sont, elles ne récoltent qu'indifférence ou mépris. En 1885 sans doute, peu avant de prendre sa retraite des douanes, il compose une ballade intitulée «Billy aux fers», brève évocation d'un marin à la veille de son exécution pour mutinerie. C'est de ce poème que sortira son ultime fiction... Trente-trois années passeront avant que le livre – Billy Budd, marin – ne soit publié. Dans ce récit intérieur plus encore que dans les autres romans, le «mystère de l'iniquité» est à l'œuvre, et la pureté n'existe que sous le regard de son éternel adversaire, le «diabolisme incarné». Billy Budd sera pendu. Le livre s'achève sur «Billy aux fers» et sur un compte rendu officiel qui dit que l'innocent est coupable. Tel est le monde : apparence et mensonge.