En 1951, en Normandie, dans l'Eure, village de Courteville. Célestin Marie Lemoine, 68 ans, aubergiste et propriétaire du « Trou Normand », vient de trépasser. Il laisse un confortable et enviable héritage à faire valoir suivant son testament déposé par devant son notaire, Maître Poussin. Au titre des héritiers, trois prétendants : son neveu, Hippolyte Lemoine (Bourvil), 32 ans, ignorant, benêt du village, naïf à l'esprit enfantin. Javotte Lemoine (Brigitte Bardot, nièce de Célestin, cousine d'Hypolyte et fille de la veuve Augustine Lemoine (Jane Marken), charcutière, belle-sœur du défunt et héritière au même titre. Célestin lègue toute son patrimoine à son neveu Hypolyte à la condition formelle que celui-ci obtienne son certificat d'études dans l'année en cours. Il devra donc retourner à l'école. Mais la belle-sœur Augustine, « mariée de la main gauche » avec Célestin n'entend pas laisser partir le patrimoine à son benêt de neveu. Cela va faire du bruit ! Alors qui héritera ?

Ancien débardeur du port de La Rochelle, François Cardinaud est maintenant un des plus riches armateurs de la région. Mais cette réussite suscite rancoeur et jalousie. Lorsque Marthe, sa femme, quitte le foyer sans prévenir, Cardinaud voit sa vie, faite de sacrifices et de travail, se fissurer peu à peu. Rejeté de tous, il trouve du réconfort auprès de la douce Mademoiselle. La rumeur leur prête bientôt une liaison...