Le château a été construit entre 1769 et 1773, pour Martial Baillot d’Estiveaux. La date 1773 est d’ailleurs mentionnée sur la porte.
Le château et la terre d’Estivaux, dont dépend la forêt de Veyrac sont restés entre les mains des Baillot jusqu’en 1871, date à laquelle ils passent à la famille aillée, les Chaisemartin.
D’après l’abbé Lecler, la chapelle et la tour ont été démolies au XXème siècle. Une chapelle fut reconstruite à la fin du XIXème siècle ou premier quart du XXème siècle. Des travaux de restauration, notamment pour la couverture s’effectuèrent en 1982.
Source : Dictionnaire historique et géographique de la Haute-Vienne, Abbé Lecler, Marseille, 1976, pages 805, 806.