À sa naissance, en 1918, Benjamin Button a l'apparence et les caractéristiques d'un vieillard. Abandonné par son père sur le seuil d'une maison pour personnes âgées de la Nouvelle-Orléans, il est recueilli et élevé par Queenie, qui tient l'établissement où, en grandissant, le vieillard-enfant se confond avec la clientèle. Pour un temps du moins, car Benjamin, à l'inverse du reste du monde, rajeunit de jour en jour. À vingt ans, l'air de soixante, il prend la mer, sur un chalutier, et connaît par la suite diverses aventures, dont une, passionnée mais de courte durée, avec l'épouse d'un diplomate. Mais outre Queenie, une seule femme occupe ses pensées: Daisy, ballerine dont il est tombé amoureux autrefois, et avec qui il va vivre un grand amour lorsque leurs âges se croiseront.