Za vlády Přemysla Otakara II. byl v Tachově vybudován hrad smohutnou válcovou věží vztyčenou na hranolovém podkladu. Základna věže byla vybudována z mohutných kvádrů hlízového zdiva. Spodní i horní válcová část věže vznikla ve stejném časovém období, patrně před rokem 1275. Hrad byl tvořen dvěma zděnými budovami, z nichž jedna byla vestavěna do nově vybudovaného valu.
Za vlády Lucemburků byl hrad rozšířen o palác, který v sobě spojil konstrukce starších staveb. Val byl zpevněn čelní zdí zesílenou čtyřmi věžemi. Za vlády Karla IV., který na hradě často pobýval, byla hradní stavba zřejmě doplněna o komfortní vybavení své doby. V 15. století byl hrad dobyt husity a stavební úpravy se omezily jen nanutnou údržbu. V 16. století byl hrad popisován jako sešlá a zchátralá stavba. Na hradu se podepsaly také četné požáry. V roce 1536 král poskytl zástavním majitelům hradu Pluhům z Rabštejna peníze na opravu hradu, ale Pluhové do opravy příliš peněz nevložili. Ani následující majitelé špatný stavební stav hradu nezměnili. Zpráva z roku 1606 uvádí, že k zajištění vysokého stavení je nutné vystavět čtyři mohutné opěrné pilíře. Horní část věže hrozila zřícením a bylo nutné opravit také sklepy, chlévy, konírny a další stavby. V roce 1623 již nový majitel Husmann nemohl na zpustlém hradu bydlet. Stavba byla vyloupena, zbavena oken, dveří a zařízení. Střechy byly strženy, podlahy a stropy byly prohnilé. Hrad dále poničily nájezdy švédských a císařských vojsk a v roce 1648 byl hrad údajně Švédy až do základů vypálen.
Losyové, kteří hrad vlastnili vletech 1664 až 1784, jej přestavěli na barokní zámek. Přestože Losyové měli potřebné finanční prostředky, stavba probíhala pomalu. Český historik Bohuslav Balbín v roce 1681 uvedl, že tachovský hrad leží ve zříceninách.
Nepravidelný kruhový areál zámku obepínal kamenný taras se suterénními prostorami a hospodářskými stavbami po jeho obvodu. Jádro zámku tvořila zřejmě dvoukřídlá stavba doplněná starou válcovou věží. V roce 1770 zámecká věž vyhořela. Zámek Losyů z velké části využil starých stavebních konstrukcí původního hradu.
V letech 1790 až 1793 byl starý stav zámku zaměřen a bohatá dokumentace je uložena ve Státním archivu v Klatovech. V roce 1787 Josef Mikuláš Windischgrätz započal s bouráním hospodářských budov zámku a do roku 1800 bylo vystavěno severní křídlo nového zámku. V roce 1802 byla zbourána stará hradní věž a na jejím místě v letech 1804 až 1808 vyrostlo jižní křídlo zámku. Materiál z věže byl použit k zasypání příkopů severně od zámku. Přestavbu provedl vídeňský architekt Raimund a na závěru stavby se podílel plzeňský stavitel Šimon Michal Schell. Během stavby projekt několikrát upravoval sám Windischgrätz a některé vybudované části zámku byly proto zbourány a přestavěny.
Po roce 1945 začal nevyužitý zámek chátrat a v roce 1968 byl určen k demolici. Téhož roku však začala jeho obnova. Projekt vypracovali Josef Hyzler a Zdeněk Fuka. V adaptovaném zámku byly poté umístěny městský úřad a lidová škola umění, dnes základní umělecká škola. Městský úřad sídlil na zámku do roku 2012. V roce 2014 byla tato část památky zpřístupněna turistům a návštěvníkům. V přízemí je instalována stálá expozice o historii Tachova, v prvním patře se nachází zámecký okruh, evokující život tachovských Windischgrätzů v 19. a na začátku 20. století. Na zámku se konají také krátkodobé výstavy. Základní umělecká škola Tachov sídlí v severním křídle zámku doposud.