基于内容的音乐信息检索CBMIR(Content-based Music Information Retrieval)是一个结合音乐和计算机领域的新兴交叉
学科。在
音乐教育、
音乐理论、
音乐表演、音乐创作、大众娱乐、辅助医疗及心理治疗等方面都具有重要应用。数字音乐信号是一种重要的多媒体信号,歌声与多种乐器按照乐理规则混合,研究难度大,具有重要的学术研究、产业开发及商业价值。本词条简要介绍了音乐信息检索MIR技术的学科概念、发展历史、典型应用、研究课题等内容。
音乐信息检索MIR是使用计算方法对数字音乐的内容进行理解和分析的交叉学科。从事MIR领域的人员有两个人群,理工科背景人员进行相关软硬件研发,音乐背景人员提供专业知识指导和应用需求。
从20世纪90年代中期开始,互联网、MP3、半导体技术和工艺的迅猛发展使得传统的黑胶唱片、磁带、CD光盘等音乐介质几乎消失,取而代之的是数字音乐。促使了音乐信息检索(MIR)技术的产生,其内涵早已从最初的狭义音乐检索扩展到使用计算手段对数字音乐进行内容分析理解的大型科研领域,包含数十项研究课题。2000年国际音乐信息检索学术会议ISMIR(International Society for Music Information Retrieval Conference)的建立可以视为这一领域的正式创建。
基于内容的音乐信息检索有很多应用。在娱乐相关领域,典型应用包括听歌识曲、哼唱/歌唱检索、翻唱检索、曲风分类、音乐情感计算、音乐推荐、彩铃制作、卡拉OK应用、伴奏生成、自动配乐、音乐内容标注、歌手识别、模仿秀评价、歌唱评价、歌声合成及转换、智能作曲、数字乐器、音频/音乐编辑制作等。在音乐教育及科研领域,典型应用包括计算音乐学、视唱练耳及乐理辅助教学、声乐及各种乐器辅助教学、数字音频/音乐图书馆等。在日常生活、心理及医疗、知识产权等其他领域,还包括乐器音质评价及辅助购买、音乐理疗及辅助医疗、音乐版权保护及盗版追踪等应用。此外,在电影及很多视频中,音频及音乐都可以用来辅助视觉内容进行分析。以上应用均可以在电脑、智能手机、音乐机器人等各种平台上进行实现。
早期的MIR技术以符号音乐如MIDI为研究对象。由于其具有准确的音高、时间等信息,很快就发展的比较成熟。后续研究很快转为以音频信号为研究对象,研究难度急剧上升。随着该领域研究的不断深入,如今MIR技术已经不仅仅指早期狭义的音乐搜索,而从更广泛的角度上包含了音乐信息处理的所有子领域。我们根据自己的理解,将MIR领域的几十个研究课题归纳为核心层和应用层共9个部分(图1)。核心层包含与各大音乐要素(如音高与旋律、音乐节奏、音乐和声等)及歌声信息处理相关的子领域,应用层则包含在核心层基础上更偏向应用的子领域(如音乐搜索、音乐情感计算、音乐推荐等)。音乐信息检索MIR属于
音乐人工智能的一部分,音乐人工智能属于
音乐科技的一部分。MIR可视为面向音乐的
计算机听觉。在
中国声音与音乐技术会议CSMT中,MIR是核心学科领域之一。