Le musée est installé dans l’ancienne manufacture Loire-Piquet construite en 1856. Le bâtiment central sur trois niveaux, rythmé par des arcades en pierres dorées donne sur la rue. Une cour intérieure communique avec la maison de maître sur quatre niveaux : en rez-de-jardin la buanderie, en rez-de-chaussé la calandre. Une construction plus récente de 1903 correspond à l’ancienne chaufferie.