C'est en 1169 que Nicolas d'Estouteville, seigneur de Valmont, fonde l'Abbaye pour qu'elle soit un lieu de prière et la nécropole de sa famille.

L'église fut dédiée à Notre-Dame comme celle de l'Abbaye de Hambye d'où vinrent les moines. Ce lieu n'accueillit jamais plus de 25 moines.

L'église romane fut détruite par un incendie en 1400.

La construction de l'église gothique fut retardée par la guerre de Cent Ans et par plusieurs pillages à différentes époques ; restent les deux collatéraux dont les voûtes se sont effondrées, le transept ainsi que deux mausolées : l'un (XVème siècle), à la mémoire du fondateur, l'autre (XVIème siècle) à celle de Jacques d'Estouteville et de Louise d'Albret.

Après 1515, l'Abbé Jean Ribault entreprend la construction de bâtiments conventuels, de la sacristie et la restauration de l'église. Cette église ne fut terminée qu'en 1552, ce qui explique le style Renaissance de la nef aux larges arcades, de l'élégant triforium aux colonnes géminées et la magnifique chapelle de la Vierge. Celle-ci, entièrement Renaissance, s'ouvre par deux colonnes ioniques. Sa coupole ouvragée est remarquable, de grandes baies à meneaux enchâssent de très beaux vitraux, datés de 1552, qui retracent la vie de la Vierge.

En 1680, l'Abbé de la Fayette introduit avec peine la Réforme de saint Maur. En 1783-84, le logis de l'Abbé commandataire est construit au sud de l'église (actuelle hôtellerie).

En 1789, après ordonnance du gouvernement révolutionnaire les moines sont dispersés.
Pendant plus de 600 ans, les religieux s'étaient adonnés à la prière, avaient défriché les terres, accueilli les pauvres, soigné les malades.

En 1791, le domaine de l'Abbaye, mis en vente, fut acquis par des particuliers.

Au XIXème siècle, le peintre Eugène Delacroix vint souvent se reposer au domaine familial de Valmont et s'inspira du site pour un dessin : "Ruines de l'abbaye de Valmont".

L'Abbaye retrouve sa vocation primitive en 1994, en accueillant les bénédictines de Notre-Dame-du-Pré de Lisieux. L'église abbatiale a été restaurée avec le concours des Monuments Historiques et a été dédicacée le 6 juin 2004.