L’histoire de ce site historique commence au début de notre ère, avec la construction d’une grande villa gallo-romaine, bâtiment qui était dédié à l’agriculture et dont on a retrouvé les vestiges lors du chantier de l’A75. Au Moyen-Age, la vie s’organise autour de l’église, sur les côteaux situés autour du ruisseau de Vareilles, là se trouve à l’époque un petit village agricole placé sous la protection du seigneur de Paulhan. On a retrouvé de nombreux vestiges de cette époque, notamment des silos. Les habitants s’étant réfugiés à Paulhan lors des grandes invasions, l’église de Vareilles, reconstruite au XIIème siècle, devient chapelle puis ermitage.

Laissé à l’abandon à partir du XVIIIème siècle, l’ermitage a été récemment totalement restauré et se dresse toujours fièrement sur le haut de sa colline, surplombant la récente autoroute.

L’extérieur de l’ermitage est accessible librement, mais l’intérieur n’est pas visitable en temps normal.