Le château de Fontenay était à l’origine une construction rectangulaire, entourée de douves avec une enceinte flanquée de quatre tours. Il subsiste une partie des douves, la tour d’angle nord-ouest, cylindrique, conservant les corbeaux de ses mâchicoulis et des vestiges du bâtiment qui s’étendait entre elle et la tour nord-ouest, sur lesquels a été construit un bâtiment et une tour nouvelles entre 1947 et 1949. L’ensemble, laissé à l’abandon depuis le début des années 1950, a été restauré à partir de 2014 et on peut maintenant y louer des chambres d’hôtes.
Au 15ème siècle le fief devint la propriété de la famille Isoré (de Sorigny) et fut dès lors appelé Fontenay-Isoré.
Le premier Isoré connu est Pierre Isoré, mentionné en 1145.
Suite au mariage en 1372 de Jean II Isoré, seigneur de Varennes (Azay-sur-Cher), Chambourg, la Tour de Sorigny, etc. avec Jeanne d’Angle, dame de Pleumartin (86), la famille devint Isoré de Pleumartin. Ceux-ci ont comme enfants :
1/ Jean III, tué en 1424 à la bataille de Verneuil
2/ Catherine, qui épousa Jacques I de Thais, seigneur de Thais (Sorigny) ; leur fils : Jacques II de Thais, chambellan de Louis XI, épousa Françoise d’Aloigny, dame de Sepmes.
Un descendant de Jean II Isoré de Pleumartin, Jean V (1423-1488), seigneur de la Tour Isoré, fut lui aussi chambellan de Louis XI ; son petit-fils Jean VII, dit Janot, (mort en 1567) épousa Louise de Liniers, dame d’Hervault (79) et la famille devint alors Isoré d’Hervault de Pleumartin.
Un descendant de Jean VII : Georges Isoré d’Hervault de Pleumartin, fut lieutenant-général de la Touraine en 1644 et son fils Mathieu Isoré (1647-1716) fut archevêque de Tours.
Un frère de Jean II : Geoffroy Isoré (mort vers 1409) fut le père de Jean Isoré, seigneur de Fontenay (Saint-Bauld); le petit-fils de ce dernier, prénommé également Jean, épousa en 1499 Philippes de Menou et ils eurent pour enfants :
François l’aîné, dit le Capitaine Isoré, un des cent gentilhommes de la Maison du roi, seigneur de Fontenay-Isoré, tué avec son fils lors du siège d’Anvers en 1585.
Antoine le jeune Isoré, seigneur de Fontenay-Isoré, abbé de Preuilly et prieur de la collégiale de Loches, où il fonda un collège.
Jacques Isoré, chevalier de l’ordre de Saint-Jean de Jérusalem, abbé de Ballan.
La seigneurie de Fontenay-Isoré passa ensuite aux deux filles de François Isoré : Louise Isoré, qui épousa vers 1583 François de Vonnes (qui signait François de Fontenay-Isoré) et Anne Diane Isoré, qui épousa en 1592 Jean Cantineau, seigneur de Comacre (Sainte-Catherine de Fierbois).
Les seigneurs de Fontany-Isoré furent ensuite Jean de Vonnes, (cité en 1630), fils de François et époux de Marie Chadieu, dame d’Azay-sur-Indre puis leur fils François de Vonnes (cité en 1663), qui avait épousé en 1649 Madeleine Luthier de Saint-Martin, fille de René Luthier baptisé en1586 à Loches.
La seigneurie passa ensuite au frère de Madeleine Luthier : René Luthier de Saint-Martin, auditeur à la Cour des comptes, qui avait épousé en 1663 Anne de la Ferté, avec qui il eut 16 enfants.
En 1718, le fief fut acheté, en même temps que celui de Dolus, par Jean Louis Barberin, comte de Reignac (mort en 1719), lieutenant-gouverneur de Touraine ; il passa ensuite aux deux filles de ce dernier Julie Céleste (1696-1754), épouse de Charles Yves Thibault de la Rivière (mort en 1781), seigneur de Paulmy et Marie Louise Angélique, mariée en 1724 à Charles Louis François de Campet.
La petite-fille de Julie Céleste : Marie Louise Julie Thibault de la Rivière (1737-1770) épousa en 1754 Michel Roch Gilbert du Motier, marquis de la Fayette, tué en 1759 à la bataille de Minden, et fut la mère de Marie Joseph Roch Motier de la Fayette (1754-1834), le bien connu Marquis de la Fayette, qui fut le dernier seigneur de Fontenay-Isoré !
