L’emplacement, stratégique, permettait de surveiller à la fois la vallée de l’Hérault et la route de Bédarieux et des hauts cantons. Le château veillait aussi sur le bourg féodal, qui fût d’ailleurs fortifié peu après.
On ne sait pas si un édifice plus ancien était présent sur place avant le château féodal, mais quelques indices ont été retrouvés. La colline du Puech Castel est en fait la 3ème implantation de la ville : le Clermont protohistorique se trouvait sur la colline de la Ramasse, où des traces de fortifications sont encore visibles, et le Clermont gallo-romain s’étalait dans la plaine de la Lergue.
Abandonné peu à peu à-partir du XVIème siècle, après de nombreuses périodes troubles où il servit d’abri pour la population, le château échappa ainsi à la destruction systèmatique de Richelieu, mais le temps et l’abandon se chargèrent du travail : il ne reste guère plus que les fortifications, deux salles voûtées et la tour Guilhem.
La tour Guilhem qui était une simple tour de guêt se dresse toujours obstinèment au-dessus de Clermont-l’Hérault, en espérant encore pour longtemps..
Visite libre tous les jours, accès à la tour Guilhem interdit. Le panorama sur la plaine de l’Hérault est splendide.
