Die Hochschule wurde 1948 als „Staatliches Hochschulinstitut für Musik“ von Ernst Laaff gegründet und 1973 als „Fachbereich Musikerziehung“ in die Johannes Gutenberg-Universität eingegliedert. Die rheinland-pfälzische Landesregierung entschied sich damit für einen Sonderweg innerhalb der deutschen Hochschullandschaft: Statt der Gründung einer selbständigen Musikhochschule wurde die künstlerische Ausbildung in die Universität integriert. Das Studienangebot umfasste zunächst die Studiengänge Lehramt Musik an Gymnasien, Kirchenmusik A-Examen und B-Examen und Staatliche Musiklehrerprüfung. Mit der Einrichtung weiterer, künstlerischer Studiengänge erfolgte 1986 die Umbenennung in „Fachbereich Musik“. Das rheinland-pfälzische Hochschulgesetz aus dem Jahr 2003 sieht für die künstlerische Ausbildung einen Sonderstatus vor, der in der Grundordnung der Johannes Gutenberg-Universität 2004 umgesetzt wurde: Aus dem „Fachbereich Musik“ wurde die „Hochschule für Musik“, die weiterhin an der Johannes Gutenberg-Universität verortet ist.
Ein Neubau für die Musikhochschule wurde im Oktober 2008 auf dem Campus fertiggestellt.
Die Zusammenführung von künstlerischer Praxis, Forschung und Lehre verleiht der Musikhochschule ein besonderes Profil: Einerseits werden die künstlerischen und musikpädagogischen Studiengänge wie an allen Musikhochschulen angeboten, andererseits ergibt sich durch die Einbindung in die Universität auch ein Dialog zwischen Kunst und Wissenschaft. Künstlerische, musikwissenschaftliche, musikpädagogische und andere wissenschaftliche Studienanteile werden in den verschiedenen Studiengängen unterschiedlich kombiniert und gewichtet.