Das Schloss in Pakoszów ist ein spätbarockes Herrenhaus aus dem 18. Jahrhundert, dessen Räume von den früheren Besitzern, darunter die Familie Hess, als Leinenbleicherei genutzt wurden (die Gegend um Jelenia Góra war jahrhundertelang für die Weberei und vor allem für die Herstellung von Leinenprodukten bekannt). 
König Friedrich II. hielt sich hier mehrmals auf. Bis 1945 blieb das Schloss im Besitz der Familie Hess. Nach dem Ende des Zweiten Weltkriegs und der Eingliederung Schlesiens in Polen diente es viele Jahre lang verschiedenen öffentlichen Zwecken, unter anderem als Waisenhaus.
Erst als das Schloss an die Nachkommen der Vorkriegseigentümer zurückgegeben wurde, war es möglich, es wieder in seinem alten Glanz erstrahlen zu lassen. Zwischen 2008 und 2012 wurde das Gebäude restauriert, erweitert und dann zu einem modernen Hotel umgebaut.
Die Architekten haben jedoch darauf geachtet, die einzigartige Atmosphäre der Residenz zu erhalten. Wesentlich ist, dass auch der historische Barocksaal restauriert wurde, und Christoph Wetzel, der Berliner Maler, der für die Restaurierung der Kuppel der berühmten Frauenkirche in Dresden verantwortlich war, wurde mit der Rekonstruktion der allegorischen Malereien am Deckenplafond beauftragt.