Le château fut construit vers 1760-1770 par la famille Borély pour en faire sa résidence d’été. Il devient propriété de la ville en 1856 puis musée d’archéologie et enfin, musée des arts décoratifs, de la faïence et de la mode, en 2013.