L'écrivain local, François Mauduit, cite la présence d'une motte féodale au VIIe siècle. Dans sa chronique sur Ivry publiée en 1899, il fixe la date de 960 pour la construction d'un édifice en pierre. Nous ne connaissons pas ses sources.  Suite aux fouilles archéologiques menées entre 1997 et 2000, aucune date précise n'a pu être arrêté mais il est admit que la construction remonterai avant l'an 1000.