Le prieuré de Prittlewell, fondé au XIIe s., est une dépendance du grand monastère Saint-Pancrace de Lewes, situé à une centaine de kilomètres plus au nord-est, dans le comté du Sussex de l'Est, en Angleterre. Prittlewell a abrité jusqu'à 18 moines.
Les responsables du prieuré de Lewes sont chargés d'élire le prieur de Prittlewell. En 1311, après deux années passées à la tête du monastère, William l'Auvergnat est accusé de corruption et le prieur de Lewes tente de le destituer. Un conflit durable s'ouvre entre les deux établissements pour la nomination de l'abbé, Lewes soutenant James de Cusancia. Le prieur de Prittlewell est convoqué devant le roi en 1318. Au cours de cette audience, William démissionne, puis retourne au monastère pour l'occuper de force avec ses partisans. En 1321, les moines de Lewes s'arment et envahissent le prieuré Notre-Dame, au moment de la messe. William est frappé d'un coup fatal, à l'autel, et ses partisans sont enlevés. James de Cusancia lui succède.
En 1536, une grande partie du bâtiment est détruite. Ses vestiges sont considérablement modifiés au XVIIIe siècle. Les remaniements se poursuivent au début du XXe siècle, avec la reconstruction du réfectoire. Un certain nombre d'éléments originels sont toujours visibles aujourd'hui, telle la porte du XIIe siècle ornée de chevrons et de dents de chien.
Après la Dissolution, le prieuré devient une résidence privée. Selon William White, dans son annuaire d'Essex de 1848, à la dissolution "les revenus [du Prieuré] étaient évalués à 194,14 shillings 3 pence par an, et il a été accordé au Lord Chancelier Thomas Audley, qui l'a transmis à Robert, fils de Lord Rich. Il passa ensuite avec le manoir à différentes familles".
En 1842, Daniel Robert Scratton (1819-1902) hérite du Prieuré. Avec sa femme, Maria (décédée en 1901), il transforme les bâtiments en une maison d'habitation.
En 1869, il s'installe au manoir de West Ogwell dans le Devon, où il meurt en 1902. Ce n'est que lorsque William Howell Scratton achète le prieuré en 1887 que celui-ci devient véritablement une maison familiale. La famille crée un potager clos de murs, qui comporte des serres chaudes, à l'emplacement du cimetière des moines, devenu aujourd'hui un jardin ornemental.En 1917, le bâtiment est acheté par Robert Jones, qui y ouvre le premier musée de la ville de Southend, en 1922. Il achète également une partie des terres environnantes, dont il fait don à la ville pour la création du Priory Park. Le parc est officiellement inauguré le 14 juillet 1920 par le duc d'York, futur roi George VI.
En 2011, débutent d'importants travaux de rénovation des bâtiments et la construction d'un nouveau centre d'accueil. Les travaux sont achevés à l'été 2012 et le Prieuré a rouvert en juin de la même année. Le nouveau centre d'accueil, adjacent au Prieuré, a ouvert ses portes en février 2013.
Une exposition y retrace la vie de la famille Scratton. L'extension victorienne du prieuré, qui abritait autrefois des chambres, accueille une exposition interactive sur la faune locale. Parmi les oeuvres remarquables du prieuré, outre le portrait de Daniel Robert Scratton par Stephen Pearce (1867), citons celui de Madame Scratton, d'un artiste inconnu.