Obok kościoła bernardynów, zbudowanego w XVII w. z inicjatywy bpa Wierzbowskiego, znajdował się murowany, jednoskrzydłowy klasztor. Od 1689 r. mieściło się w nim prowincjonalne studium teologii moralnej. Na południowy zachód od klasztoru bernardynów znajdował się dworek królewski, zwany także pałacem, podarowany w 1673 r. przez bpa Wierzbowskiego królowi Michałowi Korybutowi Wiśniowieckiemu. Przy dworku znajdował się teren określany jako Zwierzyniec, który miał pełnić w Nowej Jerozolimie rolę rajskiego ogrodu.

Obecny budynek klasztorny wzniesiono równocześnie z budową nowego, murowanego kościoła w latach 1755-60, ufundowanego przez marszałka Franciszka Bielińskiego.

W 1809 r. część skrzydła zachodniego klasztoru została zajęta przez wojska carskie na stajnie dla artylerii. Po kasacie zakonu i wyprowadzeniu bernardynów z Góry Kalwarii w 1863 r. klasztor został zajęty na urząd powiatowy. Po odzyskaniu świątyni i ulokowaniu w niej kościoła parafialnego w 1879 r. część klasztoru przeznaczono na plebanię i szkołę, a pozostałą część – zachodnią i południową – jako najbardziej zniszczone, rozebrano. Pozostałe skrzydło wschodnie i część południowego wyremontowano i poświęcono w 1883 r.

W 1932 r. z inicjatywy ks. Edwarda Kawińskiego rozpoczęto przebudowę wnętrza całego budynku, ponieważ władze miejskie oddały jego pozostałą, zajętą dotychczas część na potrzeby szkoły. W odzyskanej części klasztoru zaprojektowano sale wykładowe oraz salę parafialną ze sceną i widownią. Nieszczęśliwie, podczas prac remontowych w lipcu 1934 r., w skrzydle południowym wybuchł pożar, który strawił znaczną część wnętrz. Prace remontowe zakończono dopiero w 1938 r. W czasie II wojny światowej wojska niemieckie częściowo zniszczyły klasztor. Natomiast w kaplicy klasztornej usytuowanej na piętrze, zachowała się wyjątkowa XIV-wieczna drewniana pieta.  

Od wschodu i południa budynek klasztorny otacza teren ogrodu klasztornego dochodzącego do skarpy wiślanej.

^{oprac. dr Piotr Rytko}