Pałac wzniesiono w latach 172–1725 jako rezydencję opatów z Krzeszowa. Wykwintny, barokowy styl widoczny jest zwłaszcza w wewnętrznym dziedzińcu, o bogatej ornamentyce, z charakterystycznymi wazonami i baranimi rogami.
W 1741 roku obiekt zarekwirowały pruskie władze. Od tej pory już nigdy nie powrócił do swego pierwotnego przeznaczenia. Najpierw został zaadaptowany na potrzeby mieszkalno-biurowe komendanta twierdzy świdnickiej. Po sekularyzacji zakonu w 1810 roku, pełnił rolę arsenału broni. Następnie, już po uzyskaniu niepodległości, stał się siedzibą urzędu podatkowego. W wyniku tych historycznych zawirowań kondycja niegdyś świetnej rezydencji znacznie ucierpiała. Dopiero w latach 2003–2005 dzięki solidnej renowacji obiekt odzyskał blask i aktualnie znajduje się w nim biblioteka miejska.
W obiekcie wykonano szereg prac konserwatorskich, konstrukcyjnych, ciesielskich, dekarskich oraz wykończeniowych– mówi Paweł Melka z firmy Integer S.A., która odpowiedzialna była za wykonanie renowacji świdnickiego obiektu. Przeprowadzony został też remont elewacji oraz konserwacja barokowego portalu wejściowego i wielu architektonicznych detali, stanowiących oryginalną ilustrację tego niezwykłego stylu w sztuce i architekturze.
