C’est après un long parcours, au départ de la Vendée, en passant par l’Auvergne et la Comté, fuyant les invasions et les pillages, que les reliques de saint Vivant arrivent, vers 900, sur l’éperon rocheux de Vergy, qui domine l’ensemble des Hautes-Côtes. Une église y est alors érigée pour les abriter et un monastère pour accueillir une communauté.
En l'an Mil, Saint-Vivant est confiée à l'abbé de Saint-Bénigne de Dijon, Guillaume de Volpiano, qui vient de Cluny, afin d'être réformée par ses soins. L’établissement compte alors 30 moines. Mais c'est entre 1095 et 1099 qu’il est formellement donné à Cluny. L’importance des archives domaniales qui nous sont parvenues en reflètent la prospérité foncière : les moines s’occupent des vignes, les aménagent, les développent. Parallèlement, ils exploitent de grands domaines forestiers, qui constituent une grande part de leurs revenus.
Le monastère médiéval connaît un grand chantier de reconstruction à partir de 1772, date à laquelle il est entièrement démoli pour être relevé à la mode de l'époque, selon les plans de l'architecte Jean-Antoine Caristie. En 1796, le monastère est racheté par Antoine Mollerat, maître de forges à Pellerey, qui fait démolir les parties bâties, sauf l'église prieurale.