Vuosina 1762-64 pystytetty raatihuone on tuomiokirkon ohella Vanhan Porvoon tärkein rakennus. Se on toinen maassamme jäljellä olevista 1700-luvun raatihuoneista. Se on ajalleen hyvin tyypillinen, kaksikerroksinen ja taitekattoinen raatihuonerakennus, jonka katolla on pieni puinen kellotorni.

Raatihuoneessa toimi aikoinaan kaupungin hallinto, maistraatti ja raati sekä järjestyslaitos. Isossa salissa nähtiin joskus myös kiertelevien teatteriseurueiden esityksiä ja sota-aikoina talossa saattoi toimia sairaala. Raatihuoneen loistohetkiä elettiin Porvoon valtiopäivien aikana keväällä 1809, jolloin toisen kerroksen kahdessa salissa kokoontuivat aatelissääty ja porvarissääty.

Rakennusteknisesti raatihuone oli alunalkaen epäonnistunut. Kivitalojen rakentamisesta oli vain vähän kokemusta, perustus tehtiin huonosti ja talo alkoi pian valmistuttuaan kallistua, mikä näkyy vieläkin hyvin sisätiloissa. Talo oli kuitenkin kaupungin käytössä 1880-luvulle asti. Vastaperustettu Porvoon museoyhdistys pelasti talon purkamiselta ja aloitti siinä museotoiminnan 1896.

Kesäkuussa 1760 sattuneen kaupungin suuren tulipalon jälkeen muutamat varakkaat porvarit, mm. Johan Holm vanhempi, rakensivat uudet talonsa tiilestä. Vuosina 1762-1763 rakennetussa Holmin talossa oli alunperin taitekatto ja sisäänkäynti pihan puolelta. Pohjakerroksessa hoidettiin liikeasiat ja perhe asui yläkerrassa. Talossa toimi 1800-luvulla leipomoita, mm. sveitsiläisiä kondiittoreita, ja leipomon myymälän vuoksi avattiin 1860-luvulla torin puolelle uusi ulko-ovi. Museon käyttöön rakennus hankittiin vuonna 1919.

Tontti on rinteessä ja ulottuu seuraavalle kadulle, Vuorikadulle, asti. Tontilla on kaksi muuta pientä asuinrakennusta sekä joukko ulkorakennuksia, joissa oli hevostalli, karjasuoja, sikolätti, vaunuvaja, useita aittoja ja varastoja sekä käymälät. Nämä eivät ole avoinna yleisölle, mutta pihaan saa mielellään tutustua.