Budynek, w którym obecnie znajduje się Biblioteka Publiczna, a który jest nazywany Pałacem Biskupim powstał w XVII wieku, ale przebudowano go w II połowie XVIII wieku. Założyciel miasta, biskup Stefan Wierzbowski nigdy w nim nie mieszkał. W miejscu tym znajdował się punkt handlowy lokalnych kupców. W I poł. XIX w. mieścił się tu Sąd Pokoju Powiatu Czerskiego.