Das Museumsgebäude ist ein imposanter Bau aus rotem Backstein, mit einer markanten Dachlandschaft, auf der sich ein Turm befindet, der an einen Leuchtturm erinnert. Erbaut wurde das Museum zwischen 1914 und 1922 von dem bedeutenden Hamburger Architekten Fritz Schumacher.