Mandado construir por Fernán Pérez de Andrade en 1369 y terminado en 1377, con la oposición del prior de Sobrado de los Monjes. En 1467 fue destruido por las revueltas irmandiñas y vuelto a edificar. En el siglo XVII perteneció a los condes de Lemos, cuyo escudo está en sus paredes, luego paso a la casa de Lerma y de Alba que lo restauró en el siglo XIX.
Destaca su papel en la historia medieval de Galicia al servicio de los Condes de Andrade, por ello fue declarado monumento nacional en 1924, siendo el primero en conseguir este título en la provincia de A Coruña.