Pałac Biskupów Krakowskich został wzniesiony w latach 1637-1644 z inicjatywy biskupa krakowskiego Jakuba Zadzika. Jest on wspaniałym i najcenniejszym z zachowanych przykładem polskiej rezydencji z epoki Wazów. Autorem projektu był prawdopodobnie włoski architekt  Tomasz Poncino, który kierował także pracami budowlanymi. Dwukondygnacyjny korpus główny, nakryty bliźniaczym, czterospadowym dachem został ujęty czterema sześciobocznymi wieżami. Skrzydła boczne dobudowane zostały w I poł. XVIII w. według projektu Kacpra Bażanki. Pomimo pewnych przekształceń dokonanych w XIX w. pałac kielecki zachował pierwotną bryłę, dekorację elewacji oraz oryginalny wystrój większości wnętrz.
W końcu XVIII w. kieleckie dobra biskupów krakowskich zostały upaństwowione uchwałą Sejmu Wielkiego. Biskupi krakowscy mogli zamieszkiwać w pałacu.
W 1816 roku w skrzydle północnym  rozpoczęła działalność Szkoła Akademiczno – Górnicza w Kielcach przez dziesięć lat istnienia kształcąc kilkudziesięciu absolwentów.
Po upadku powstania styczniowego władze rosyjskie dokonały w wyglądzie pałacu daleko idących zmian. Marmurowe portale z wnętrz przeniesiono do nowo wzniesionej cerkwi, zburzono przylegającą do katedry Bramę Krakowską, zmieniono też formę samego pałacu zdejmując hełmy z wież i kamienne rzeźby z elewacji. W 1866 r. rezydencja stała się siedzibą władz Guberni Kieleckiej.