C’est sur les terres de son frère Geoffroy, seigneur de Semur-en-Brionnais, que l’abbé Hugues fonde dans un port de pêche situé sur la Loire un prieuré de femmes en 1056. Hugues lui adjoint un monastère de moines pour s’occuper des questions spirituelles et temporelles ; les privilèges revenant néanmoins à la prieure, à la tête d’un effectif qui ne pouvait dépasser quatre vingt dix neuf religieuses, issues de la noblesse et âgées d’au moins vingt ans. Hermengarde, sœur de l’abbé, en est la 1ère prieure et Aremburge de Vergy, leur mère, y devient religieuse. Malgré la sévérité de son exigence de claustration, Marcigny attire des dames célèbres de toute l’Europe (la fille de Guillaume le Conquérant en 1095, saintes Véraise et Frédoline, filles du roi d’Espagne, vers 1130 ou Raingarde, mère de l’abbé Pierre le Vénérable...) et son effectif varie entre vingt et quatre vingt dix neuf au fil des siècles. Les douze moniales présentes se dispersent en 1792, après 736 ans de présence à Marcigny, et les biens du prieuré sont vendus quatre ans plus tard.
Des vestiges rares et remarquables
La Révolution fut impitoyable avec Marcigny : l’église prieurale fut détruite et l’ensemble des bâtiments claustraux transformé en dépôts ou habitations. Du prieuré des femmes ne subsistent ainsi que l’hôtel de la prieure, construit en 1777 par Verniquet, architecte des jardins de Louis XVI, ainsi que de nombreux autres éléments lisibles dans les murs (comme un bras du transept de la prieurale, les restes du mur d’enceinte, une porte voûtée...). Du prieuré des hommes on peut voir encore l’église Saint-Nicolas (ancienne prieurale des XIIe-XIVe s.), devenue paroissiale au XVIIe s., dont seuls la nef et le porche sont d’origine. La tour du moulin (XVe s.), tour de défense et grenier de la ville érigée par Jean Sans Peur, duc de Bourgogne, pour défendre le duché contre les Armagnacs, abrite maintenant le musée qui conserve les nombreux vestiges récupérés du prieuré.