Dès 1577, la maison à pans de bois qui fait l'angle des rues du Pont et Carnot (alors grand'rue) est propriété de M. Le Moine de Bellisle. On suit l'essor de cette famille sur les cadastres jusqu'à la Révolution.

Au 17ème siècle, l'aile en pierre est construite (entrée des visiteurs) et les immeubles situés dans le prolongement de la maison à pans de bois sont acquis. Jean-Baptiste Le Moine de Bellisle est devenu seigneur de Vernonnet grâce au destin.

En effet, le Roi Louis XV sollicite une partie de ses terres pour les offrir au maréchal duc de Belle-Isle (aucun rapport avec les Le Moine de Bellisle) qui souhaite agrandir son domaine de Bizy. A la veille de la Révolution, l'hôtel s'étend sur tout ce quartier, délimité par la Seine, la rue du Pont et l'actuelle rue Carnot.

Hélas, l'histoire est ensuite devenue muette sur cette famille dont le nom à particule se modifie peut-être en Lemoine dont il existe à Vernon de nombreux homonymes. Morcelée au cours des temps, la propriété devient Hôtel du Cheval Blanc, Hôtel de la Marine puis Gendarmerie Nationale jusqu'en 1964.