Historique du nom: Paumiz (1335, Cartulaire de l’archevêché de Tours, charte 178), Dominus de Paumiz (XIVe siècle, Cartulaire de l’archevêché de Tours, charte 272), Le fief de Paulmy (1639, Rôle des fiefs de Touraine, rôe de Chinon), Le Château de Paulmy (1659, Décret de l’Archevêque de Tours, Archives 37, H621), Paulmy (1662, 1669, Archives de Descartes-Balesmes), Paulmy (1688, Archives de Beaumont-en-Véron), Château de Paulmy (1765, Carte de Cassini), Château de Paulmy (1812, Cadastre A2), Château (1820, Carte de l'état-major), Château de Paulmy (1939, Cadastre A1b), Château de Paulmy (2013, Carte IGN).
L'histoire du château de Paulmy est, en fait, celle de la famille Voyer de Paulmy d'Argenson. Le premier seigneur connu, en 1244, fut Étienne Voyer. L'un de ses descendants, Pierre Voyer, rendit aveu au roi, pour sa terre de La Roche-de-Gennes, le 25 octobre 1461. Ce fut lui qui reconstruisit, en 1440 et 1450, la forteresse détruite par les Anglais pendant la guerre de Cent Ans. Sous le règne de François Ier, Jean Voyer se distingua aux batailles de Pavie et de Cérisoles et aurait participé aux négociation pour la libération du Roi. Charles IX, en récompense de ses services, lui octroya, en janvier 1569, les lettres patentes érigeant La Roche-de-Gennes en vicomté. De son mariage avec Jeanne Gueffault, il eut de nombreux enfants dont deux fils: Pierre fut l'auteur de la branche d'Argenson et René, l'aîné, continua celle de Paulmy. René Voyer, en 1585, construisit une chapelle qui deviendra église paroissiale en 1659. Il avait obtenu l'autorisation d'entourer de fossés et de murailles le bourg de Paulmy en 1579.
Jean Armand de Voyer, gouverneur de Châtellerault, qui mourut à Charleville en septembre 1674 des suites de ses blessures, laissa deux enfants. Mais, la mésentente de ses héritiers amena la vente aux enchères du château. Ce fut à leur mère, Anne Radegonde de Mauroy, qui se remariera à François de Crussol, qu'il fut adjugé pour 133.000 livres, le 6 mai 1680. Par le mariage de sa fille, le domaine passa alors à la famille de la Rivière.
En août 1750, le marquis d'Argenson faisait état dans ses Mémoires d'une lettre de son frère, Marc-Pierre, ministre de la Guerre, l'informant que le roi l'aidera dans l'acquisition de Paulmy. A la date du 9 septembre 1750, il note: Le roi a donné 200.000 livres à mon frère pour acheter la terre de Paulmy, qui était anciennement dans notre famille. Le brevet du roi du 4 septembre 1750 est très honorable pour nous. Mon frère doit substituer ce terre, à défaut de descendance directe et masculine à mon fils et à ses enfants mâles, afin d'éviter que les filles ne la fassent sortir par mariage de notre maison comme cela a eu lieu. Il mentionnait que Paulmy fut acheté 500.000 livres.
Les descendants du ministre de la Guerre possédèrent Paulmy jusqu'à la fin du XIXe siècle. Le marquis d'Oyron en était devenu propriétaire par son mariage, le 6 septembre 1827, avec Élisabeth de Voyer d'Argenson. Dans la première moitié du XXe siècle, intervinrent plusieurs mutations. En 1940, la ferme et le château furent vendus séparément. Le château fut alors acquis par la librairie Hachette qui le céda, en 1921, aux services sociaux de la ville de Paris. Il devint une colonie de vacances du personnel de la Préfecture de Paris.
Paulmy par Tourainissime
