Clervaux ligt in het noorden van Luxemburg, in de Ardennen van de Éislek, niet ver van de Belgische grens. Het dorp ligt in het dal van de Clerve. De kern volgt de rivier, de weg en de spoorlijn door het dal. In het centrum staan hotels, winkels en huizen dicht bij elkaar. Boven het dorp rijst de helling op naar de abdij. In het dal staat het kasteel van Clervaux.
Het kasteel is het bekendste gebouw van Clervaux. De oorsprong gaat terug tot de twaalfde eeuw. Het huidige uitzicht van het gebouw is later ontstaan door verbouwingen en herstel. Tijdens de gevechten van december 1944 raakte het kasteel zwaar beschadigd. Daarna werd het opnieuw opgebouwd. In het kasteel zijn vandaag meerdere vaste onderdelen ondergebracht. Een daarvan is The Family of Man, de grote fototentoonstelling van Edward Steichen. Daarnaast zit in het gebouw een museum over de Slag om de Ardennen en een verzameling maquettes van Luxemburgse kastelen.