Dans un château de Bohême transformé en hôtel, des gens vivent dans une atmosphère feutrée. Ils sont là pour se reposer, et tout autre bruit hors quelques paroles chuchotées est proscrit. Un homme s’attache à une femme et tente de la persuader qu’ils ont eu une aventure, l’année dernière à Marienbad.

Septembre 1962. Hélène Aughain, femme au début de la quarantaine et antiquaire à domicile, vit à Boulogne-sur-Mer avec Bernard Aughain, son beau-fils qui revient d'Algérie. Elle fait revenir son amour de jeunesse, Alphonse Noyard, un homme dissimulateur, charmeur et habile. Il arrive accompagné d'une jeune femme, Françoise, actrice débutante, qu'il fait passer pour sa nièce.

A Calcutta, en 1937. Anne-Marie Stretter, épouse de l’ambassadeur de France, entretient une relation amoureuse avec Michael Richardson. Un soir, au cours d’une réception donnée à l’ambassade, elle le retrouve et lui accorde quelques pas de danse. Parmi les invités se trouve aussi le vice-consul de France à Lahore, envoyé en disgrâce à Calcutta. Celui-ci, apercevant Anne-Marie, ne tarde pas à lui déclarer son amour passionné, devant l’assemblée des convives scandalisée. Le lendemain, Anne-Marie a mystérieusement disparu…