L’ancien clocher est, très certainement, le donjon d’un château dont il ne reste que peu de vestiges, château construit au XIème siècle par les seigneurs d’Olargues. L’emplacement des premiers bâtiments du village se fait à cette époque, avant cela on estime que le cadre d’Olargues-le-Vieux se situait près du prieuré de Saint-Julien-d’Olargues. Le cadre choisi pour la mise en place de ce nouveau village était idéal : défense facile, croisement de routes importantes (notamment la route Nîmes/Toulouse), eau et terres cultivables abondantes.

Au XIIème siècle est construite l’église castrale Saint-Laurent, dont on peut maintenant apercevoir les quelques restes autour du clocher. Au XVème siècle on transforme le donjon du château en clocher. Malheureusement au XVIIème siècle château et église sont ruinés, et il ne reste aujourd’hui que l’ancien-clocher comme témoin de ces époques.

Le clocher en lui-même n’est pas visitable, par contre on peut visiter librement les Ruines du Château et de l’Eglise. Le panorama sur le village et la vallée du Jaur sont magnifiques.