En el año 1216 fue fundado un pequeño eremitorio dedicado a San Lorenzo, por el obispo de Zamora, D. Martín Arias, originario de Santiago y cuya bula de fundación, dada por el rey Alfonso IX de León, se conserva en el archivo de la Catedral de Santiago. Según la leyenda, en esta primera época estuvo retirado en este cenobio, D. Pedro Muñiz, falsamente acusado de nigromante.

Posteriormente, en el siglo XV, pasó a ser propiedad y patronato de los Condes de Altamira. Éstos cedieron el usufructo del monasterio a la Orden Franciscana, que lo ocupó hasta la desamortización ocurrida en el siglo XIX incautándose de él el Estado. La Duquesa de Medina de las Torres, bisabuela del actual propietario, como hija y heredera del Conde de Altamira, sostuvo un pleito con el Estado para recuperar la propiedad de dicho monasterio, ya que no era bien privativo de los frailes y fue fallado a su favor, restaurándolo posteriormente.

En el año 1520, estuvo retirado en este monasterio, durante los días de Semana Santa, el emperador Carlos V. De la primitiva construcción románica quedan restos en la parte inferior de la iglesia. El altar mayor y las estatuas orantes de los marqueses de Ayamonte D. Francisco de Zúñiga y DĒ. Leonor Manrique, se encontraban en Sevilla en la Iglesia de San Francisco, propiedad también de la familia. Al ser derruida esta iglesia, los descendientes de los fundadores se hicieron cargo de los mármoles y en 1882, la Duquesa de Medina de las Torres los instaló en este monasterio, patronato de su casa. Son obra italiana de principios del siglo XVI ejecutada en mármol de Carrara por los hermanos Aprile y Pier Angelo de la Scala y mandada hacer por la Marquesa de Ayamonte para honrar la memoria de su marido fallecido muy joven, costeando ella el magnífico retablo y los sepulcros. La imagen de la Virgen con el Niño, que se encuentra en un altar lateral, es obra del escultor sevillano Martínez Montañés (siglo XVII). El claustro es del siglo XVII, y el boj con dibujos alegóricos se conserva desde la misma época. Sobre la fuente hay una imagen de la Virgen del siglo XV. El jardín conserva su traza conventual, y en su bosque de viejos robles pasó largos ratos, inspirándose para sus versos, la poetisa gallega Rosalía de Castro.