Vivien Kovaks est la fille unique d'Ervin et Berta, un couple de Juifs hongrois immigrés à Londres depuis 1938. Autant que Vivien le sache, sa famille se réduit à ces deux parents taciturnes et renfermés. Mais, à dix ans, elle se découvre un oncle, et pas n'importe qui, un truand célèbre, Sándor Kovacs, propriétaire véreux et maquereau occasionnel. Son père refuse de lui en dire davantage sur ce frère détesté, cependant la petite fille reste fascinée par la seule image qu'elle ait de Sándor, habillé richement et paré d'une montre en diamants. Puis le temps passe, et la vie de Vivien suit un cours monotone, qui culmine lorsqu'elle épouse sans conviction Alexander, un Anglais de bonne famille. Or un drame l'oblige à retourner vivre chez ses parents.
Ce qu'ils se mettent sur le dos est l'histoire d'une famille où secrets, déceptions et trahisons intimes se mêlent aux douleurs provoquées par la grande Histoire. Entre tragique et comique, l'auteur dissèque avec finesse les émotions que les personnages dissimulent, ou exposent, par le biais de leurs habitudes et de leurs codes vestimentaires.