Nous sommes à Paris, dans les années soixante-dix. Cara, la narratrice, partage la vie de Julien, un peintre dont elle admire la sensibilité singulière et le talent. Le couple, bien que solide, mène une existence débridée et bohème dans un atelier d'artiste. Le hasard met sur leur chemin un personnage marginal et fascinant, Fred Lepeu, qui a fait fortune dans le trafic d'art et la contrefaçon. Conscients d'être en présence d'un être peu recommandable, Clara et Julien vont néanmoins se lier à Fred, dont les relations multiples peuvent être utiles. Tricheur, fantasque, tyrannique, Fred exerce bientôt sur le couple une séduction dangereuse. Cara se sent attirée par cet homme, pour des raisons obscures, pernicieuses, que sa raison réprouve. Mais une passion la contamine, qui l'entraînera dans l'univers de Fred : les bars chics mais douteux, les magnats et les petits escrocs de la vie nocturne, et surtout le monde mystérieux des faussaires.
Inspiré d'un fait divers authentique, dont Clarisse Nicoïdski fut à l'époque l'un des témoins - le procès à scandale d'un célèbre trafiquant d'art, accusé, il y a une vingtaine d'années, de faux et usge de faux - Milord nous plonge dans un climat romanesque, où l'analyse franche d'un certain «milieu» sert de cadre au récit d'une passionnelle dépossession.