Das Museum befindet sich in einem barocken Backsteingebäude aus der zweiten Hälfte des 17. Jahrhunderts. Es wurde in der insgesamt 67 Jahre dauernden Besetzung der Stadt durch Schweden als Lagerhaus am Hansehafen des 13. Jahrhunderts, dem 'Alten Hafen', erbaut und diente der schwedischen Garnison als Provianthaus.