De 1160à 1398, le château est resté dans la famille de Born-Hautefort. Puis à partir de 1398, et jusqu'en 1887, la maison de Gontaut-Hauteforten fut propriétaire. La famille est très appréciée des populations locales pour sa générosité envers les pauvres. Le marquis Jacques-François de Hautefort fera édifier dans le village un hospice en forme de croix grecque, du même style architectural que le château avec sa grande coupole centrale. À la Révolution, le château et la famille sont défendus par les habitants de Hautefort. Une armée conventionnelle d'Excideuil projetant de le détruire en tant que symbole de la féodalité d'Ancien Régime, les habitants du village font fondre leurs cuivres pour en faire des armes et sauvent leur château de la destruction. Après avoir été racheté en 1929 par le baron et la baronne de Bastard, il est entièrement restauré et remeublé par les nouveaux propriétaires. La baronne poursuit seule les travaux après la mort du baron en 1957, et ne peut s'installer au château qu'en 1966, pour deux ans. Le 30 août 1968, le château est détruit par un incendie. Il ne reste plus que les ruines des murs extérieurs profondément calcinés. Un élan de générosité national et, surtout, celui de la population des environs, très attachée au château, ainsi que le soutien de personnalités, poussent la baronne à entreprendre la reconstruction. Il est alors restauré une deuxième fois par madame de Bastard qui, jusqu'à son décès en 1999, aura voué sa vie entière à la sauvegarde du château, engageant sa fortune personnelle et vendant ses œuvres d'art pour réunir les fonds nécessaires à la reconstruction. En 1984, elle crée la Fondation du château de Hautefort à laquelle elle fait donation du bâtiment et de son immense domaine, ainsi que de son mobilier et tout son contenu. Michel David Weill et son épouse en sont les principaux mécènes.