Posvátnost tohoto místa měla své kořeny zřejmě ve starých pohanských zvycích, kdy byly uctívány kameny, studánky a stromy. Křesťané někdy ve 14. století založili na tomto místě kostel Čtrnácti svatých pomocníků. V kostelíku obklopeném lesy snad poutníci a kupci čerpali duchovní síly před vstupem do hlubokých a ponurých hraničních lesů. V roce 1427 byl kostelík poničen husity. Ještě koncem 16. století putovala ke Čtrnácti pomocníkům četná procesí především z Horní Falce. V roce 1618 před stavovskou vzpourou městská rada používala kostelní věž jako sklad střelného prachu.
Pustnoucí kostelík se rozhodl obnovit až Jan Filip Husmann. Obec Světce (Heiligen). V roce 1639 jej věnoval řádu pavlánů, jimž vystavil fundační listinu nového kláštera s částkou 36 tisíc zlatých, která byla později ještě zvýšena.
Řád pavlánů založil roku 1435 František z Pauly. Řád se vyznačoval přísnou řeholí, která pavlánům ukládala naprostou chudobu, mlčenlivost, neustálé cvičení v pokoře a soustavný půst. Výstavbě kláštera bránil nedostatek financí a třicetiletá válka. Po Husmannově smrti v roce 1651 se přípravy k výstavbě kláštera zcela zastavily. Obnovila je vdova po Husmannovi až v roce 1656. V roce 1664 však zadlužené panství prodala Antonínu Losymu z Losynthalu. Losy neměl o vybudování kláštera zájem, ale nakonec převážnou část stavby sám financoval. Stavba konventu byla dokončena v roce 1669.
Vroce 1671 započala výstavba nového chrámu. V roce 1729 kostel a část konventu vyhořely a opravy se vlekly až do roku 1754. V roce 1787 císař Josef II. mimo jiné kláštery zrušil také všechny pavlánské kláštery v Čechách. Následujícího roku byl kostel vyklizen.
V roce 1790 koupil v dražbě kostel a klášter majitel tachovského panství Josef Mikuláš Windischgrätz. V letech 1791 až 1792 nechal zodsvěceného kostela vynést 47 rakví s ostatky mnichů a šlechticů. Klášterní budovy využíval majitel panství při nákladné přestavbě tachovského zámku.
V roce 1816 strhla bouře část střechy chátrajícího chrámu. Od roku 1857 kníže Alfred Windischgrätz započal rozsáhlou přestavbu, která měla kostel přetvořit v romantické sídlo. Při jeho budování byla s velkým úsilím zbořena značná část hodnotného barokního kostela. K severní zdi byla po celé délce připojena nová stavba se dvěma polygonálními věžemi v nárožích. Uprostřed čtvercového uspořádání bylo malé nádvoří. Levá kostelní věž byla zachována a pravá byla zbourána. Celá stavba byla tvořena směsicí různých slohů a udivovala spíše svojí velikostí než v kusem. V letech 1858 až 1861 nechal Alfred Windischgrätz vybudovat pod rozestavěným zámkem jízdárnu v neorománském slohu. Hrubá stavba byla dokončena v roce 1859. Budova obsahovala také stáje, kovárnu a hostinské pokoje. V roce 1862 Alfred Windischgrätz zemřel a jeho syn Alfred II. práce na zámku zastavil. V té době byly již vybudovány věže severního křídla a dokončeny fasády ve směruk Tachovu. Celá západní strana zůstala rozestavěna, stejně jako vnitřní části zámku. V průběhu několika desítek let se značná část nového zámku zřítila a mezi světovými válkami z velkolepé stavby zůstaly pouze zříceniny bývalého kostela a trosky severního křídla se zřícenouvěží. Konvent byl využíván jako lesní úřada dnes je využíván jako střední odborné učiliště stavební.
V lese nad konventem téměř na nejvyšším místě návrší stávala Husmannova kaple, do níž v roce 1782 byly přemístěny rakve Jana Filipa Husmanna a jeho první manželky. Ke kapli stoupala od kláštera cesta provázená dalšími sedmi kaplemi. V 60. až 70. letech 20. století byla kaple zničena a pozůstatky bývalého majitele Tachova byly rozházeny v jejím okolí. Dvě cínové destičky zrakví ozdobené znaky obou manželů a doplněné textem jsou uloženy v tachovském muzeu.
V roce 1956 se objevil návrh zříceniny kostela zbořit, aby neohrožovaly mládež z blízkého internátu. V roce 1975 byla demolice odhadnuta na více než 540 tisíc korun, zatímco zpevnění korun zdiva na asi 130 tisíc korun. V roce 1990 získali jízdárnu noví majitelé, kteří však nebyli schopni zajistit ani základní údržbu polozřícené stavby. V roce 1996 jízdárnu získalo město. V roce 1997 byly provedeny první záchranné práce a v roce 2000 byla zahájena její náročná rekonstrukce, která probíhá dodnes.
Z kostela nad jízdárnou zbývá jen část průčelí s věží a celá jižní stěna se zbytky bočních kaplí a kleneb. Z dalších částí kostela jsou zachovány jen části zdiva. Prostor památné svatyně je dnes zarostlý a zanesený odpadem, pod nímž kdesi leží zázračný kámen se 14 světélky.