Ziel des Archivs war es von Beginn an, alle Arten von Material zu sammeln, um Musik und das Musikleben zu dokumentieren. Das beinhaltete keineswegs nur Musiknoten. Man unterschied bald mehrere Teile der Sammlung: im Archiv bewahrte man in erster Linie Noten auf, in der Bibliothek befanden sich die Bücher und das Museum enthielt Bilder, Musikinstrumente, bald auch Musikautographen und Briefe. Heute verwenden wir die Bezeichnung „Archiv“ meist als Abkürzung für „Archiv, Bibliothek und Sammlungen“ der Gesellschaft der Musikfreunde in Wien.
Man begann eifrig zu sammeln und konnte nach wenigen Jahren bedeutende Bestände ankaufen bzw. erhielt diese geschenkt. Erwähnenswert ist die Bibliothek des deutschen Lexikographen Ernst Ludwig Gerber, die noch zu dessen Lebzeiten angekauft werden konnte und nach dessen Tod 1819 nach Wien geliefert wurde. Auch die heute wertvolle Sammlung mit Musikdrucken aus dem 16. und 17. Jahrhundert aus der Lübecker Marienkirche verdanken wir der frühen Sammeltätigkeit.
Bereits nach gut zehn Jahren besaß die Gesellschaft rund 6.000 Musikwerke, 700 Bücher, 500 Porträts und zahlreiche Musikinstrumente.
