Sa situation est lié au travail d'érosion du Fier, descendant du Mont-Charvin, sculptant de profonds défilés naturels.
C'est au dessus des gorges du Fier, à Lovagny, que ce château-fort fut édifié entre le XIIIième et le XVième siècle.

Ce château est la propriété de l'Académie Florimontane fondée en 1606 par Saint-François de Sales et le juriste Antoine Favre, père de Vaugelas.