Le bâtiment actuel fut construit au XIIème siècle (pour les parties romanes, notamment la nef) et au XIIIème siècle (remaniement du choeur).
La façade, le portail et le clocher seraient du XIVème siècle. Au XIIIème siècle, le bourg médiéval de Paulhan se resserre autour du château, l’église se retrouve ainsi en dehors du village et devient rapidement le but d’un pèlerinage fréquenté qui lui donne son nom de Notre-Dame-des-Vertus.
Aujourd’hui, la chapelle est située dans le cimetière et a été restaurée en 1975. On notera la présence de nombreuses œuvres d’art à l’intérieur de l’église.
