Ancien château fort du XIIe siècle aujourd'hui en ruines, le château de Pontaix prend place sur une butte rocheuse dominant les alentours. À l'origine lieu de défense du passage de la Drôme, il relevait alors de la seigneurie de Quint.
Celui qui a eu un rôle essentiel durant les guerres de religion a été entièrement détruit à la fin du XVIe siècle. Du château de Pontaix, on peut cependant encore admirer les vestiges d'un petit donjon quadrangulaire, ainsi que ceux des deux enceintes concentriques.