Les manifestations de vie remontent au Ve siècle, où existait une bourgade gallo-romaine dans la vallée. La paroisse de ce village était consacrée à Saint-Hilaire, évêque de Poitiers mort en 369. Saint- Hilaire prit ensuite le nom de Saint-Hilaire près des Andrésis, en raison de sa proximité avec le Prieuré Bénédictin des Andrésis (IXe siècle).

Sur le bord de la rivière la Cléry, de nombreuses bâtissent fortifiées furent détruites lors de la Guerre de Cent Ans. Sur ces sites ont été construits les châteaux du Ratelet, de Pennery, de Montalan. Le sentier de grande randonnée GR 132 traverse la Cléry à Saint-Hilaire-les-Andrésis et suit son cours.

De nombreux moulins jalonnent la vallée, témoins d’un passé industrieux comme les activités piscicoles ou de foulage de la laine. Les énormes blocs de grès qui affleurent dans ce bois renvoient vers le lieu-dit « la claire Salée » où se trouvait le polissoir de la Roche aux Anglais qui fut détruit au XIXème siècle. Quant au polissoir du «Bois des Roches», il a été découvert en octobre 2004.

La première église a vu le jour début du XIème siècle, avec des bénédictins venant de Sens. A la suite d’un incendie en 1206, un nouvel édifice a été édifié. Les destructions liées à la guerre de Cent Ans, puis aux guerres de religion, ont entraîné la reconstruction de l’église plusieurs fois au cours des siècles.

L’église au vocable Saint-Hilaire a la forme d’une croix latine avec un chevet polygonal. L’intérieur se compose d’une nef de trois travées voûtées en plein cintre. Entre les deux colonnes surmontant l’autel, un tableau représente Jésus-Christ remettant les clefs à saint Pierre. Dans la seconde moitié du XIXème siècle, toutes les fenêtres de l’église ont été pourvues de vitraux. Son clocher s’élève sur la première travée de la nef.