Il regroupe près de œuvres ce qui en fait le principal musée de la ville pour l'art du XIXe siècle et l'art moderne, tandis que le Walters Art Museum est spécialisé dans l'art ancien. En outre, il détient la plus grande collection mondiale de travaux d'Henri Matisse et de nombreuses œuvres de Paul Cézanne, Picasso ou encore Vincent van Gogh et Paul Gauguin avec son "Cellist". La plupart de ces œuvres proviennent d'une collection privée constituée au par les sœurs Claribel et Etta Cone, proches de Gertrude Stein, qui en firent don au musée à leur mort.Le musée est aussi reconnu pour son nombre important d'œuvres d'artistes américains (plus particulièrement d'Andy Warhol), de dessins, de photographies et d'arts océanien et africain. Il possède également un jardin de sculptures d'une superficie proche de 3 acres et un petit bâtiment néoclassique de Benjamin H. Latrobe de 1812 environ, appelé "Spring House" ou "Diary", donné au musée en 1932, remonté à côté du bâtiment principal du musée et restauré en 2003.
