Minoritský klášter je umístěn v jihovýchodní části náměstí. Jeho zakladateli byli kolem roku 1250 Švamberkové.
Nejstarší raně gotická stavba klášterního komplexu byla, jak dokazují objevy, velice kvalitní. Konvent se skládá ze čtyř patrových křídel seskupených kolem rajského dvora. Objekt stále prochází rozsáhlou rekonstrukcí. Je sídlem Městského muzea a informačního centra, kde se nachází expozice historie dolování, mineralogie, etnografie, archeologie, přírodovědy a užitého umění.