学院前身是民主革命家、教育家、思想家蔡元培先生和音乐教育家萧友梅博士于1927年11月27日共同创办的上海“国立音乐学院”,是中国第一所独立建制的国立高等音乐学府,首任院长为蔡元培先生。1929年9月更名为国立音乐专科学校。中华人民共和国成立后学校曾用名“中央音乐学院华东分院”,于1956年定名为上海音乐学院,为文化部直属重点院校,现为文化和旅游部与上海市共建院校。自1949年至1984年,作曲家、音乐理论家、音乐教育家贺绿汀长期担任院长(后任名誉院长)。
截至2019年7月,学院设有13个系(部)、3个二级学院,并办有附中和附小;有全日制学生2440人,教职工528人,专任教师307人,外籍教师29人,留学生136人次,附中附小学生630人。