1789 gick byggnaden under namnet Fortifikations Brigade Huset. Materialrummen var nu uppdelade i mindre utrymmen och ett av rummen på övre våningen hade inretts som kök med en stor spis. Under 1800-talets första hälft byggdes ett uthus av trä mot Sillgatan, i dag kallad Postgatan. I slutet av århundradet skulle tusentals emigranter komma att passera huset på sin väg till Amerikabåtarna.

Vid 1900-talets början ersattes dörrarna mot gården med fönster och takets tegel ersattes med plåt. Det före detta kontorshuset var nu ett bostadshus med flera lägenheter där alla hyresgäster hade anknytning till det militära. Lägenheterna fanns kvar till 1932 då huset byggdes om till kontor för stadens rättshjälpsanstalt. Det gamla uthuset i trä revs ett par år senare och i stället restes en mur mot Postgatan.

Efter ombyggnaden har flera förändringar av interiören skett. Vinden har inretts och förstugan med dörr mot Kronhusparken har satts igen. Kassarummets kryssvalv är bevarat och i vindsrummen kan man se de gamla takbjälkarna. Utsidan av byggnaden är välbevarad och överensstämmer helt med Bengt Wilhelm Carlbergs ritning från 1746. Det brant sluttande taket med tillhörande lister är typiskt för den tidens arkitektur.

Huset byggnadsminnesförklarades 1968 och sedan 1991 ingår det i Higabs fastighetsbestånd.