Pałac został zbudowany dla Matyldy (1856-1939) i Edwarda (1844-1921) Herbstów, którzy zamieszkali tu po ślubie zawartym w roku 1875. Edward Herbst ukończył studia w Szkole Handlowej w Warszawie, a od roku 1869 pracował w zakładach włókienniczych należących do Scheiblera. Matylda i Edward wychowali trzech synów. Łódzką rezydencję odziedziczył Leon Feliks (1880-1942). Leon poślubił w 1918 roku Aleksandrę Potschtar (primo voto Hoppe, ur. 1889). Młodzi Herbstowie mieszkali w pałacu do roku 1942. Wtedy to wyjechali do Wiednia. Leon zmarł – bezpotomnie – w Wiedniu 16 stycznia 1942 roku. W tym samym roku Aleksandra wyjechała z Łodzi. Zmarła w Berlinie prawdopodobnie w roku 1970. Po roku 1945 rezydencja Herbstów pełniła między innymi funkcje ośrodka szkolenia pracowników pomocy społecznej, domu dziennego pobytu dla nerwowo chorych, była siedzibą zakładu biologii PAN, Ochotniczej Rezerwy Milicji Obywatelskiej, spółdzielni inwalidów, a nawet Pracowni Konserwacji Zabytków. W 1976 roku rezydencję przejęło Muzeum Sztuki. Wszystkie zabudowania wymagały wtedy kapitalnego remontu ponieważ skutkiem niewłaściwego użytkowania była daleko posunięta dewastacja, a nawet unicestwienie kilku budynków (ogród zimowy wraz z łącznikiem). Prace wykonane w Pałacu Herbsta oraz koncepcja ekspozycji zostały wysoko ocenione przez Międzynarodową Federację Towarzystw Odnowy Europejskiego Dziedzictwa Kulturalnego i Narodowego, która w 1990 roku uhonorowała Pałac Herbsta pierwszym w Polsce medalem EUROPA NOSTRA.
20 kwietnia 2012 roku w zrewitalizowanym i przystosowanym do pełnienia funkcji wystawienniczych budynku Powozowni Pałacu Herbsta została otwarta Galeria Sztuki Dawnej. Z końcem czerwca 2013 roku zakończyły się prace w ramach projektu Modernizacja Rezydencji "Księży Młyn". Efekty modernizacji można oglądać już od 20 września 2013, kiedy to w budynku ponownie rozpoczęła się działalność wystawiennicza oraz edukacyjna.
