O pazo constrúeo, en 1511, a familia Díaz Varela no lugar de Rosende. Un dos descendentes, Carlos Recarey Díaz Varela, chega a ocupa-lo virreinato de México, e retorna á súa terra para ocupar cargos públicos, como recadador real e gobernador en Lugo, ampliando a edificación inicial a finais do século XVIII.
A familia Díaz Varela tivo unha significada presencia no mundo da cultura. Entre os últimos moradores da casa cómpre destacar a Roberto Díaz Varela, director do xornal A Mariña na Habana, Dalmiro de la Válgoma y Díaz Varela, historiador en Monforte e secretario perpetuo da Academia Nacional de Historia e Elena Quiroga, unha das grandes escritoras de Galicia e académica da lingua.
A construcción orixinal en forma de L ampliase a finais do 1700, dándolle a toda a construcción a imaxe do século XVIII; no acceso desenvólvese un gran patio coas dependencias agrícolas sobre as que se a formou actual aldea de Rosende, transformándose este patio en praza; na parte posterior fórmase un empedrado pechado por un austero edificio que albergaba as cabalerías. O edificio restaurouse mantendo integramente a súa construcción orixinal con grosos muros de granito, con chans de centenarias táboas de castiñeiro sobre sólidas trabes, e teitos formados por rústicos artesanados de madeira. Conservouse o mobiliario orixinal do pazo o que proporciona unha autenticidade única que nos transportará a un auténtico ambiente do dezaoito; a capela, a solaina, a lareira ou as amplas adegas amosan a beleza desta casa.
