Crestet è un paese molto antico, fondato intorno al VII o VIII secolo dai Saraceni. Il castello che sorge al culmine del crinale è di epoca più tarda (XII sec.) ed è stato in uso fino alla Rivoluzione francese, quando fu demolito. In parte ricostruito, è oggi proprietà privata, come quasi tutte le case del paese, a partire dagli anni ’30 acquisite da ricchi cittadini che hanno trasformato umili e povere abitazioni contadine in abbandono in residenze di pregio, arricchite da giardini pensili. Il paese conserva la bella chiesa di saint-sauveur(XI sec.) e ospita la fondazione stahly, nella casa dello scultore francese François Stahly (1911-2006).