Au décès de Rodulf d'Ivry le château passe aux mains de son fils aîné Hugues de Bayeux, né en 988. Il entre en rébellion contre le duc de Normandie Robert 1er dit le Magnifique. Ayant anticipé le siège du château il entreprend des gros travaux défensifs à partir de 1028. C'est peut être à cette période qu'intervient l'architecte Lanfred cité par F.  Mauduit.   Ce dernier aurait déjà réalisé le château de Pithiviers.                  Le palais est emmotté au niveau du premier étage afin d'occulter les baies du rez de chaussée. Les murs sont alors élevés sur plusieurs mètres.            Hugues porte le titre honorifique d’évêque de Bayeux de 1015 à 1049, date de sa mort. Son fils ainé est Roger d'Ivry, sa fille est Aubrée qui épousera Robert 1er de Bréval.

Emma d'Ivry, sa sœur, épouse Osbern de Crépon, sénéchal de Normandie. C'est lui qui assurera la protection du jeune Guillaume lors des "richardides". Ils donneront naissance à Guillaume qui ouvrira la voie la branche des "Breteuil". A la fin de sa vie, Emma devient abbesse de St Amand de Rouen ou elle décède en 1069.

Jean d'Ivry est le demi frère du précédent. C'est le conseiller de Guillaume 1er le Conquérant. Il assure la gérance du duché en son absence. Il est évêque d'Avranches de 1060 à 1067, puis archevêque de Rouen de 1067 à 1079.