Dès le XIIe siècle, un château existe à Varennes. Il connaît au cours des siècles bien des vicissitudes. Incendié en 1596, vendu comme bien national sous la révolution et laissé à l’abandon, puis racheté par son ancien propriétaire qui le revend en 1822, il sera entièrement remanié et restauré vers 1860, dans le style de l’architecture militaire de la Renaissance. Des parties anciennes subsistent cependant, ce qui lui valut la qualification de « Pierrefonds du Bas-Maine ». À nouveau délaissé dans les années 1940, son intérieur fut démonté et vendu ou pillé. La couverture a été cependant refaite en 1965. Puis, au fil des années, diverses mesures de sauvetage ont été entreprises, les dépendances restaurées, l’environnement remis en état.