Vor 40 Jahren trat das collegium musicum ulm, zu dem sich engagierte Musiker aus Ulm zusammengefunden hatten, zum ersten Mal anläslich eines Kirchenkonzertes in Ulm-Söflingen an die Öffentlichkeit. Ermutigt durch die positive Aufnahme beim Publikum entwickelte sich das cmu schnell zu einem festen Bestandteil des Ulmer Musiklebens.
Schwerpukte waren von Anfang an und sind bis heute eigene Konzerte mit Orchesterwerken von Renaissance bis zu Moderne, sowie die enge Zusammenarbeit mit den Kirchenmusikdirektoren am Ulmer Münster. KMD Haller, KMD Rabsch und KMD Fröschle prägten das Orchester, jeder mit seinem besonderen Interpretationsstil.
Immer wieder fanden junge Dirigenten des Ulmer Theaters die Möglichkeit mit dem Orchester zu arbeiten sehr reizvoll. Jeremy Hulin, Thomas Kalb, Julia Jones, Philippe Jordan, Wolf-Michael Storz, Sebastian Tewinkel, Lukas Meister und Nikolaus Netzer sorgten für eine stetige Weiterentwicklung der musikalischen Qualität.
Im Laufe seiner Geschichte erweiterte das Orchester seine Konzerttätigkeit auf weitere Orte in Süddeutschland. Besondere Höhepunkte waren Konzertreisen nach Weimar und Schruns in Voralberg, sowie eine zweiwöchige Tournee durch Japan im Jahr 2002.
Das heute ca. 30 Musiker umfassende Streichensemble wird bei Bedarf von Bläsern des Philharmonischen Orchesters der Stadt Ulm unterstützt. Wiederholt arbeitet das Orchester mit Württembergisch-Bayerischen Konzertdirektion Russ zusammen.
Seit Sembember 2005 wird das cmu von Henning Kussel geleitet, der mit Beginn der Spielzeit 2007/2008 von den städtischen Bühnen Augsburg als Kapellmeister und Studienleiter an das Staatstheater "Am Gärtnerplatz" in München wechselt.