Crestet est un village ancien, fondé vers le VIIème – VIIIème siècle par les Sarrazins. Le château qui s’érige au sommet de la crête est d’une époque plus tardive (XIIème siècle) et a été utilisé jusqu’à la Révolution française, lorsqu’il fut détruit. En partie reconstruit, c’est aujourd’hui une propriété privée comme pratiquement toutes les maisons du village. En effet, les maisons ont été achetées dès les années 30 par des personnes aisées qui ont transformé des habitations paysannes humbles et abandonnées en des résidences de valeur avec des jardins suspendus. Le village conserve la belle église de Saint-Sauveur (XIème siècle) et abrite la Fondation Stahly, dans la maison du sculpteur français François Stahly (1911-2006).