Herzstück der Sammlung ist die von Joseph Sonnleithner (1766–1835) angelegte Gemäldesammlung. Sie bestand ursprünglich aus 55 Bildern, wurde 1830 für das damals neue Musikvereinsgebäude am Tuchlauben angekauft und kontinuierlich bis etwa 1900 erweitert. Heute umfasst sie 73 Ölgemälde. Darunter befinden sich die heute bekanntesten Porträts von Johann Joseph Fux, Christoph Willibald Gluck, Antonio Salieri, Johann Georg Albrechtsberger und vielen anderen. Von Franz Schubert gibt es ein Porträt ohne Brille. Das vielleicht bekannteste Gemälde stammt aus der Hand der Malerin Barbara Krafft. Es zeigt Wolfgang Amadeus Mozart und gilt als authentischstes Bild von ihm.
Bemerkenswert ist an dieser Sammlung, dass nicht nur die berühmtesten Komponisten verewigt sind, sondern dass es eine Reihe von Porträts von Komponisten gibt, die heute weitgehend vergessen sind, etwa Abbé Maximilian Stadler, Joseph Eybler oder Adalbert Gyrowetz. Häufig handelt es sich dabei jeweils um das einzige erhalte Gemälde der abgebildeten Persönlichkeit.
Eine Vielzahl von Malern lässt sich in der Sammlung nachweisen. Unter den bekanntesten Künstlern sind Joseph Kupelwieser und Willibrord Joseph Mähler.
