Layrac se développe sur le site d'une villa gallo-romaine occupé très tôt par un centre urbain. C'est au cours du XIe siècle que le domaine est intégré par étapes successives dans le patrimoine foncier de l'abbaye de Cluny : en 1062, une donation est enregistrée, qui est entérinée le 10 novembre 1064. Cette possession est confirmée par bulle papale en 1096. Les moines de Cluny y fondent un monastère vers 1062, qu'ils placent sous le patronage de saint Martin et de saint Pierre et saint Paul. L'église est consacrée le 7 mai 1096 par le pape Urbain II (ancien moine clunisien), qui arrive de Clermont où il a prêché la première croisade. En quelques décennies se constitue ainsi un monastère qui au cours de son histoire accueille des hôtes illustres : la reine de Navarre, Jeanne d'Albert, le 15 janvier 1572 ; Henri IV, le 16 août 1576... Layrac est à cette époque une place forte du protestantisme en Agenais depuis 1560. C'est pourquoi ses fortifications sont démantelées sur ordre de Louis XIII en 1621. De 1629 à 1631, années de peste et de disette, Layrac prend un nouvel essor jusqu'à la fin du XIXe siècle. En 1714, malgré la réforme de l'ordre de Saint-Benoît, les moines de Layrac décident de conserver la règle antique, dite de "l'ancienne observance". Ils tiennent cette position jusqu'au 9 avril 1729, date à laquelle ils cèdent aux pressions. De 1740 à 1750, le prieuré est reconstruit pour la seconde fois, dans un style classique, et se dote d'une riche bibliothèque et de jardins à la française. C'est l'édifice toujours visible aujourd'hui. Le 13 février 1790, l'Assemblée nationale constituante supprime par décret les ordres religieux réguliers ; une semaine plus tard, les moines sont expulsés de Layrac. Tous leurs biens sont vendus.
Un chef d'oeuvre de l'art roman
Son portail majestueux signale l'entrée de cet édifice bâti autour d'une nef à vaisseau unique d'une largeur étonnante.
Des vestiges de mosaïques sont encore visibles dans le pavement. Elles illustrent la scène biblique de Samson terrassant le lion. De nombreux chapiteaux sculptés ornent les piliers. Le chœur est coiffé d'une coupole de dix mètres de diamètre et une ample abside percée de neuf fenêtres clôt le sanctuaire.