Installé rue de Varenne, dans le 7e arrondissement de Paris, l'hôtel de Castries a été construit entre la fin du XVIIe et le début du XVIIIe siècle. Classé aux Monuments Historiques, il a été profondément modifié au milieu du XIXe par le duc de Castries qui lui a laissé son nom.
Passé de mains en mains au fil des siècles, l'édifice est réquisitionné par les Domaines pour y loger le ministère de l'Agriculture en 1946. Lieu d'accueil pour les bureaux du ministère des Solidarités et de la Cohésion sociale entre 2010 et 2012, l'hôtel de Castries abrite depuis mai 2017 le ministère de la Cohésion des territoires.