Un bourg monastique préservé
Le site de Poliacus est donné à Cluny en 966. Les moines décident d’y fonder un prieuré. 
Sur place se trouve une petite église datant du VIe siècle, placée sous le vocable de Saint-Didier, très certainement en mauvais état. Ils décident d’en bâtir une autre, plus grande, dédiée à saint Pierre, en utilisant notamment des pierres de la région et des éléments sculptés d’édifices plus anciens. La première pierre est posée en 1048 en présence d'Odilon de Mercoeur, abbé de Cluny, et d'Hallinard de Sombéron, évêque de Lyon.
La construction se poursuit jusqu’au XIIe siècle. Les bâtiments du prieuré évoluent par étapes du XIe au XVe siècle : ils se composent d’une tour, d’une salle de justice, de trois grandes salles avec cheminée, d’un cachot et de remparts. 
Une communauté de moines, jamais très nombreuse à Pouilly (2 moines sont présents en 1269), occupe le prieuré jusqu’en 1715, date à laquelle les moines sont rappelés à Cluny. Vendu à la Révolution puis racheté par le curé Pierre Fessieux, le prêtre en fit un petit hôpital ainsi qu'une école pour filles tenue par les soeurs Saint-Joseph-de-Cluny jusqu'en 1930. Ce furent ensuite les demoiselles catéchistes qui jusqu'en 1974 occupèrent les lieux.