Le moulin actuel a été construit au XXème siècle sur les lieux d’anciens moulins banaux, vraisemblablement érigés au même moment que le château de Nemours au XIIème siècle. Les premières traces écrites attestant la présence de moulins sur l’île du Perthuis dans une charte de 1197 de Gauthier 1er de Nemours.
Les moines cisterciens de l’Abbaye de Barbeau (dans l’actuelle commune de Fontaine-le-Port) en deviennent propriétaires au quart en 1265. Au fil des siècles, la production des moulins de Nemours devient plus importante : de 397 livres par an au XIIIe siècle, la production atteint 3280 livres par an au XVIIe siècle. À la Révolution, le clergé est exproprié de ses biens, l’Abbaye de Barbeau est dissoute et détruite en 1793 ; aussi, les banalités sont abolies, les moulins de la seigneurie sont privatisés.
Le site est alors occupé par trois moulins montants et tournants, qui utilisaient l’eau du Loing grâce à un bief construit sur la rivière. Durant tout le XIXème siècle, ils sont modernisés par différents propriétaires qui se succèdent.
Au début du XXème siècle, comme pour la plupart des anciens moulins collectifs à vent ou à eau, les trois moulins sont tout simplement remplacés par une grande minoterie industrielle, partiellement automatisée et avec un rendement plus conséquent.
À la fin des années 1990, la minoterie de Nemours était parmi les 30 plus importantes de France, produisant jusqu’à 300 000 quintaux par an. Cédée à maintes reprises, la minoterie est revendue une dernière fois en 2008. Située dans un endroit étroit en centre-ville, et coûtant cher à entretenir, elle fait faillite. Les droits de mouture sont vendus au moulin de Melun et les activités définitivement abandonnées en 2012. La minoterie est rachetée par la ville de Nemours en 2014.
