La construction d’une grande villa gallo-romaine a lieu tout près du site de l’ermitage. Un bâtiment dédié à l’agriculture et dont on a retrouvé les vestiges lors du chantier de l’A75.
Au Moyen-Age, la vie s’organise autour de l’église, sur les coteaux situés autour du ruisseau de Vareilles, là se trouve à l’époque un petit village agricole placé sous la protection du seigneur de Paulhan.
On a retrouvé de nombreux vestiges de cette époque, notamment des silos. Les habitants s’étant réfugiés à Paulhan lors des grandes invasions, l’église de Vareilles, reconstruite au XIIème siècle, devient chapelle puis ermitage.
Laissé à l’abandon à partir du XVIIIème siècle, l’ermitage a été récemment totalement restauré et se dresse toujours fièrement sur le haut de sa colline, surplombant la récente autoroute.
L’extérieur de l’ermitage est accessible librement, mais l’intérieur n’est pas visitable en temps normal.
