Før brannen i 1861 lå byens rådhus like ved det nåværende. Dette var en stor bygning med tårn og urverk, oppført i 1798. Etter brannen var det uenighet om plasseringen og om bygningen skulle oppføres i mur eller tre. Først i 1871 sto bygningen ferdig, i tre etter byggmester Lütz sine tegninger. I følge vedtak fra den tiden skulle den verken være overdådig eller tarvelig. I 1921-22 ble rådhuset ominnredet. I trappa opp til 2. etasje er det et stort glassmaleri av Finn Hansen. I 2. etasje er det festsal og ved siste oppussing i 1992 er salen igjen tatt i bruk til bystyremøter. I første etasje er det møtelokaler og Skuteklubbens maritime samlinger.