听歌识曲只是音频指纹检索中的一种,是人工智能领域自动内容
识别技术(Automatic content recognition)的核心算法,与
语音识别将一段用户的语音转化为文字不同,
音频指纹技术不区分语言,是一种声音对声音的
精确检索。
使用窍门
把手机QQ音乐尽量靠近音源,录取需要识别的音频录音,录取后由客户端提取录音音频特征发送到
服务端。服务端根据
QQ音乐发上来的音频特征跟服务器中的歌曲进行遍历匹配,匹配中哪首歌曲就把歌曲内容返回给客户端。识曲时不要大声讲话,尽量保证环境的安静,尽量离音源更近,一次只识别一首歌。
功能特点
该功能有以下三个特点:
快
打开各大
音乐播放器使用该功能,一般只需要一秒至几秒长的片段,就可以进行查询搜索歌曲,同时带给你动态歌词
快速定位体验。
如,用
QQ音乐听歌识曲功能,在安静环境一般三秒以下,就能根据音频片段识别出对应的歌曲名。
准
该功能有很好的抗噪能力,在一定的嘈杂环境下也能实现很好的抗噪能力识别出对应的背景音乐,并返回精准的逐字歌词,方便用户直观的判断出返回结果是否符合外放音频。具备精准的
数据建模能力,只用较少的数据便达到优异的识别性能;同时对
海量数据处理也有很强的支持能力,综合识别精度>99%。
稳
听歌识曲主要运用到
音频指纹技术(Audio fingerprinting technology)的算法来提取每首歌的指纹,建立歌曲指纹库,当用户通过录音请求的时候,听歌识曲会先对这段音乐提取其音频指纹,再对该指纹进行比对匹配,找到多语言海量曲库中匹配度最高的那首歌,算法和曲库相辅相成。
QQ音乐是国内
识别率最高的音乐APP之一,能做到市面上99%以上播放的音频都能搜索到并返回给用户。
功能模块
实时听歌识曲:偶然听到一首好听的歌曲,打开听歌识曲,最快1s就能识别
周围环境中的
原唱音乐,并给出歌名和歌曲等相关信息,同时还能立即使歌词同步当前音乐播放进度。
后台听歌识曲,就是当你在一个
APP中听到好听的背景音乐时,听歌识曲可以在后台识别当前播放的歌曲。 以
QQ音乐听歌识曲为例,进入
QQ音乐APP的听歌识曲页面后,退出至手机主页进入其他APP(或
直接切换至其他APP),就可以识别另一款APP中正在播放的音乐。
离线返回:当用户进行识别曲目的时候,如果遇见无法识别成功的音乐或不在曲库内的曲目时。程序会将音频
指纹信息发送给云端数据进行大
数据扩展搜索,找到相关曲目后会离线反馈给用户所识别的内容。
小程序返回:为了方便用户使用听歌识曲功能,
QQ音乐已提供小程序版本供广大用户选择。
哼唱识别
与听歌识曲相似的还有一个功能叫哼唱识别。同样是以歌搜歌的功能,但区别于听歌识曲,哼唱识别是指根据人声的哼曲或清唱,识别出正在哼唱的是什么歌曲,同样的识别出来后可对该音频进行播放、收藏等操作。
功能测评
国内支持「识曲」功能的音乐APP有
QQ音乐、
酷狗音乐、
酷我音乐、
网易云音乐、
虾米音乐、
百度音乐、
咪咕音乐等,对这几款音乐类APP听歌识曲功能进行测试,
测试方法为在封闭房间内,使用一台设备随机
播放电台歌曲,另一台设备依次打开APP进行识曲。
每个App可以对同一首歌有两次辨识机会。从结果中已经可以看出,
酷狗音乐、
QQ音乐拥有较强的识曲能力,应对各种外文歌基本能做到一次识别成功。
实现原理
听歌识曲,作为音频信息检索领域的一项重要课题,主流的歌曲
识别技术主要运用到音频指纹(Audio Fingerprinting)的算法来提取每首歌的指纹,建立歌曲指纹库,当用户通过录音请求的时候,听歌识曲会先对这段音乐提取其音频指纹,再对该指纹进行比对匹配,找到数据库中
匹配度最高的那首歌。
专业奖项
在2019国际音频检索评测大赛(MIREX)中,
QQ音乐的“听歌识曲”技术一举拿下“音频指纹(Audio Fingerprinting)”世界冠军。
作为国际音频检索领域的顶尖赛事,MIREX致力于为音频信息检索及音乐
信号处理领域中的各种
前沿技术提供公正、可信的评估。自2005年启动以来,MIREX吸引了
世界知名大学、研究机构和科技公司企业等广泛参与,像
Spotify 、Apple Music等国际级音乐平台也会在此项赛事寻找顶级科学家,每一年的MIREX已经成为一项全行业关注的国际音乐技术盛事。
在2020年国际音乐检索评测大赛(MIREX)中,
酷狗音乐摘得“音频指纹(Audio Fingerprinting)”项目的世界冠军,并打破记录。