Eugène Morgan revient après vingt ans d'absence sur les lieux de ses amours malheureuses. Il fut jadis éconduit par Isabel Amberson, fille d'une famille riche et puissante. Eugène est à présent patron d'une importante usine d'automobiles, tandis que la splendeur des Amberson n'est plus que le reflet d'une époque révolue.
En 1945, trois soldats démobilisés, le sergent d'infanterie Al Stephenson, le capitaine d'aviation Fred Derry et le marin Homer Parrish, font connaissance dans l'avion qui les ramène à Boone City, leur ville natale. Leurs sentiments sont partagés entre l'impatience et l'appréhension. Ils ne tardent pas à reprendre contact avec la réalité quotidienne...
Dans les années 1860, le capitaine Ralls qui commande un voilier marchand, débarque avec son second, Sam Rosen, sur une île des Mers du Sud où vit le riche armateur Mayrant Ruysdaal Sidneye. Celui-ci expose à Rosen les circonstances qui ont amené Ralls, sept ans plus tôt, à saborder "La Sorcière Rouge", navire affrété par l'armateur, et son chargement d'or...
À Cuba, Michael, marin irlandais en quête d'un embarquement, sauve d'une agression une jeune femme, Elsa. Le mari d'Elsa, avocat célèbre, offre à Michael d'embarquer sur son yacht pour une croisière vers San Francisco. Elsa et Michael s'aiment. Grisby, l'associé de Bannister, s’aperçoit de cet amour. Il veut disparaître et propose à Michael 5000 dollars pour signer un papier dans lequel il confesse l'avoir tué.