Au XIIIe siècle, Saint-Raphaël est sous l'autorité de l'évêque de Fréjus, qui y réside épisodiquement de même qu'à Fayence et Puget, sa résidence principale étant Fréjus. C'est lui qui initie la construction de cette tour, érigée sur le bras du transept sud de l'église San Rafeu, à la fin du XIIIe siècle.
Cette tour fortifiée dont l'origine a longtemps été attribuée, à tort, aux Templiers, à cause de similitudes dans les techniques de construction, est plus un symbole d'autorité qu'un élément défensif. Haute de 25 mètres, elle présente 3 étages et ses murs sont composés par endroits de réemplois antiques. Ce n'est qu'en 1881 qu'est apposé le campanile en fer forgé au sommet de la tour, ainsi que la cloche, pesant 100 kg et sonnant au marteau les heures.
En haut des 129 marches, un superbe panorama à 360° s'ouvre devant vous, des sommets de l'Estérel à la pointe de Saint-Tropez en passant par les étangs de Villepey, le rocher de Roquebrune, et une vue imprenable sur la basilique et ses dômes byzantins.
