Het kasteel van Wiltz staat op een rotsige uitloper aan de rand van de bovenstad, hoog boven de vallei van de rivier de Wiltz. De heren van Wiltz behoren tot de oudste adellijke families van het Groothertogdom, met een stamboom die teruggaat tot het einde van de elfde eeuw. Tijdens de Eerste Kruistocht stonden zij aan de zijde van Godfried van Bouillon.

Het allereerste kasteel van de heren van Wiltz stond in de benedenstad, op de plek waar nu de dekenijkerk staat. Die ligging bleek strategisch onhoudbaar: het kasteel werd herhaaldelijk ingenomen. In de dertiende eeuw bouwden de heren van Wiltz daarom een nieuwe burcht op de rotsige hoogte, wat tegelijk het begin van de bovenstad markeerde. Ook dat kasteel ontkwam niet aan de Europese conflicten van de middeleeuwen: in 1388 verbrandden Franse troepen het tijdens een veldtocht, aan het begin van de vijftiende eeuw werd de stad door de graaf van Nassau verwoest, en in 1453 werd het opnieuw vernietigd onder Filips van Bourgondië.

Op 23 mei 1631 begon graaf Jan VI, in Luxemburg beter bekend als Grof Jan, met de bouw van het renaissancekasteel dat er vandaag nog staat. Jan VI was in 1629 verheven tot graaf van Wiltz en werd in 1640 gouverneur van het hertogdom Limburg. De Dertigjarige Oorlog, epidemieën en hongersnood vertraagden de bouw echter sterk. Het hoofdgebouw werd pas rond 1720 voltooid, de kasteelkapel in 1722 en de monumentale buitentrap naar de tuinen in 1727. Op het dak van de veertiende-eeuwse Heksentoren, de oudste bewaarde toren van het complex, staat nog steeds een figuur van Grof Jan in wapenuitrusting, aangewezen door de bevolking als beschermer van de stad. Volgens de legende diende de toren als gevangenis voor vrouwen beschuldigd van hekserij, met als enige uitzicht de brandstapelplaats op de heuvels van Merkholtz.

In 1656 huwde de nicht van Jan VI in de Franse familie De Custine, die het kasteel tot 1793 in bezit hield. De laatste graaf, Théodore François de Paule de Custine, vluchtte bij de komst van de Franse revolutietroepen en stierf in 1799 in Bamberg. Zijn bezittingen werden verbeurd verklaard en geveild. Na een periode als privébezit en later als kostschool van de Zusters van de Christelijke Leer werd het kasteel in 1951 door de Luxemburgse staat aangekocht.

Tegenwoordig herbergt het kasteel drie bestemmingen. Het Nationaal Museum voor Brouwkunst, ondergebracht in de voormalige stallen, is het eerste en enige biermuseum van Luxemburg en documenteert 6000 jaar brouwgeschiedenis. Het Museum van de Slag om de Ardennen toont artefacten en getuigenissen van de gevechten in de winter van 1944–1945. Het toeristisch infokantoor van Wiltz is eveneens in het kasteel gevestigd. Jaarlijks in juni en juli fungeert de monumentale trap van 1727 als podium voor het Festival de Wiltz, het oudste festival van Luxemburg, met het kasteelgebouw als decor.