En 977, Silvius, sa femme Gulinis et leur fils Willelme donnent à Cluny une partie de leurs biens, douze serfs et les revenus des terres, situés au lieu dit Pulleto (Le Pouzin) ainsi que sur le mont Rompon, où se trouvent deux églises, afin qu’il y soit établi un monastère. L’église Saint-Pierre, peut-être établie dès le VIIe siècle, devient ainsi un prieuré régulier, comptant parmi les plus anciennes fondations clunisiennes de la région avec Eurre, dans la Drôme (en 928) et St-Saturnin-du-Port, dans le Gard (en 948). Il connaît son apogée au début du XIIe siècle. Rompon reçoit en effet, en 1112, huit paroisses avec leurs revenus, entre La Voulte, Le Pouzin et Privas. Il compte alors douze moines et un prieur ; en 1279, la communauté rassemble 14 moines et le prieur. Le prieuré se maintient jusqu’au XVe s. On pense que son abandon, au début du XVIe s., est consécutif aux ravages des guerres de Religion. 
Sur un plateau calcaire dominant la vallée du Rhône à 330 m d’altitude, au-dessus de la confluence de la Drôme et du Rhône, l’ancien prieuré ne présente aujourd’hui plus que de grandes ruines. Celles-ci se trouvent sur un terrain étant la propriété du groupe familial Delmonico Dorel, qui exploite à proximité une carrière (anciennement Lafarge Granulats).

A la suite de récentes fouilles archéologiques, a été découvert sur le site un ensemble de vestiges (ébauches d’une tour, d’un escalier d’accès aux remparts et une porte d’accès à la cité) remontant au Haut-Moyen-âge (fin IVe - début du VIe s.). Ces éléments sont considérés comme étant d’une période pour laquelle on n’avait pas la notion de l’existence de ville, d’où l’intérêt de cette découverte. 