A su muerte su viuda lo vendió en 1925 al empresario croata (entonces de nacionalidad yugoslava) Pascual Baburizza. (1875 – 1940). Este había llegado a Chile en 1892 y se dedicaba al comercio exterior y a las salitreras en Iquique y Antofagasta. El palacio fue construido por los arquitectos oriundos de Trieste Arnaldo Barizon y Renato Schiavon. En estos años Trieste pertenecía al imperio Austro-Húngaro. Estudiaron en Viena, en la escuela de arquitectura bajo la influencia del movimiento conocido como “ La Secesión”, Versión austriaca del expresionismo Alemán. Todas las rejas exteriores y las puertas de rejas interiores fueron elaboradas a mano en el taller del fundidor y cerrajero italiano Giovanni Santambrogio. El palacio es una mezcla de dos estilos arquitectónicos y artísticos. El Art Nouveau y el Art Deco, más elementos del modernismo. Baburizza procedió a modificar su interior, agregar un salón (del gobelino) donde había una terraza y un torreón en la parte más alta, más una casa anexa donde vivía su hermana. Actualmente ambas casas están unidas por un patio en el primer piso y un puente de vidrios en el segundo piso. Exteriormente la fachada del palacio es continua y no se aprecian diferencias entre las dos construcciones. Baburizza murió en 1940, en los Andes de tuberculosis y en su testamento donó a la ciudad su colección de pintura europea, era soltero y no tenía descendencia directa, donó su espacio fuera de su residencia para paseo público que se denominó “Paseo Americano”, a su muerte la municipalidad cambio su nombre por “Paseo Yugoslavo” en homenaje al insigne ciudadano de esa nacionalidad. La casa quedó en manos de sus herederos quienes la vendieron a la municipalidad en 1972, el museo se trasladó e instaló en este palacio en 1972. El palacio y sus colecciones fueron declarados Monumento Nacional en 1978. Del inmobiliario de Baburizza sol quedó una mesa francesa y un amueblado del salón, por ser monumento nacional no se ha efectuado ninguna modificación en su fachada, ni en los espacios patrimoniales, ni se han modificado las escalas originales y los enrejados. Las chimeneas son originales de las casa al igual que los artesonados de cielos y muros . El museo funcionó hasta 1997 cuando fue cerrado por los años estructurales y luego de permanecer 15 años cerrado ha sifo nuevamente abierto al público. Tiene más de 2000 metros cuadrados de superficie distribuidos en cinco niveles de exhibición.
