Het huis aan de Nieuwe Haven 29 werd in 1729 gebouwd in opdracht van Johan van Neurenberg, een rijke regent. Zij woonden er ruim 20 jaar, toen zij besloten de rechterhelft van het pand te laten renoveren waarbij de voorkamers, beneden en boven, werden vergroot. Tussen 1886 en 1889 vond de verbouwing plaats onder leiding van architect Constantijn Muysken, die ook de interieurs ontwierp. Simon van G
ijn bepaalde bij testament dat zijn huis na zijn dood in 1922 voor het publiek moest worden opengesteld. Hierbij moest het interieur zoveel mogelijk intact blijven. Toch kregen sommige vertrekken bij de inrichting tot museum een andere bestemming: ze werden gebruikt als entree, kantoor of opslagruimte. Ruimtegebrek en het ontbreken van goede voorzieningen maakten een grootscheepse renovatie noodzakelijk. Tussen 1999 en 2001 is het museum ingrijpend gerestaureerd. Het huis is hersteld in de staat waarin Van Gijn het bewoonde. Gelukkig was veel bewaard gebleven van de oorspronkelijke interieurs. Met behulp van restjes behang en textiel, interieurfoto's uit 1902 en 1904 en notitieboekjes van Van Gijn was het mogelijk een compleet beeld te krijgen van de originele inrichting. De zolder, die voorheen niet voor het publiek toegankelijk was, biedt nu plaats aan de grote verzameling speelgoed. De entree, het museumcafé en de kantoren zijn ondergebracht in het naastgelegen pand.
