Kasteel van Durbuy ligt boven de oude stadskern van Durbuy, op de rots aan de rand van de Ourthevallei. De geschiedenis van het kasteel gaat terug tot de middeleeuwen. Op deze plek stond al in de elfde eeuw een versterkte burcht. Het kasteel hoorde bij de heren van Durbuy en later bij de graven van Luxemburg. Boven de stad lag de residentie. Rond de kern liep een omwalling met poorten en torens.
Van het middeleeuwse kasteel bleef niets bewaard. In de zeventiende eeuw werd de burcht verwoest. Het huidige kasteel werd in 1731 herbouwd in opdracht van de graaf d’Ursel. Tussen 1880 en 1882 werd het gebouw uitgebreid en aangepast. Het kasteel kreeg toen voor een groot deel het uiterlijk dat vandaag boven de stad zichtbaar is.
Het kasteel is privébezit en niet toegankelijk voor bezoek. In Durbuy zelf blijft het gebouw daardoor vooral zichtbaar van buitenaf. Vanaf de oude straten in het centrum kijk je op de gevels boven de rots. Ook vanaf de brug, de rivier en de wegen aan de rand van de stad blijft het kasteel in beeld.