Le nom de Berbie dérive de l'occitan bisbia, évêché. Les éléments les plus anciens de ce château épiscopal remontent aux années 1240-1245, mais ce sont Bernard de Combret et Bernard de Castanet qui en font, entre 1254 et 1307, une forteresse affirmant, face aux

albigeois, aux hérétiques et aux officiers du roi, la puissance des évêques et de l'église.

Ce dernier flanqua l'édifice d'un donjon massif, la Tour Mage, restaurée au XVIIIe siècle, s'élevant à 50 mètres au dessus du Tarn.
C'est là, que les évêques installèrent leurs appartements et leur chapelle privée.

La Berbie s'inscrit dans la famille des palais-forteresse, où elle précède le palais des Papes d'Avignon .

Dans un contexte différents, les évêques s'efforcent à partir de la fin du XVe siècle de conférer plus d'agrément à leur résidence.

Louis Amboise (1474-1503) fait dresser du côté de la ville un corps de bâtiment et une galerie Renaissance couverte de toits d'ardoises.

Daillon du Lude (1635-1676) y installe des salons auxquels un superbe escalier permet d'accéder.

Au temps de son successeur, Hyacinthe Serroni, premier archevêque d'Albi , un jardin à la française vient occuper la basse-cour tandis que les courtines longeant la rivière se transforment en promenoir, enfin, la reprise de l'intérieur de la Tour Mage s'effectue au XVIIIe siècle. Ce monument entre dans le domaine du département, avec la loi de séparation des Eglises et de l'Etat (1905).

Crédit texte : Jean-Louis Biget, professeur d'histoire crédit photo : "le Tarn, découverte"