小冰
人工智能框架
小冰是一套完整的、面向交互全程的人工智能交互主体基础框架,又叫小冰框架(Avatar Framework),它包括核心对话引擎、多重交互感官、第三方内容的触发与第一方内容生成,和跨平台的部署解决方案。自发布以来,小冰框架是人工智能的技术创新,小冰是全球承载交互量最大的完备人工智能框架之一,技术覆盖自然语言处理、计算机语音、计算机视觉和人工智能内容生成等人工智能领域。除中国小冰及日本凛菜(Rinna)第一方人工智能交互主体外,小冰框架还支撑了中国及日本100余个第三方品牌的交互主体(如软银Pepper),交互总量约占全球人工智能交互总量的60%。2021年9月22日,小冰发布了全球首个AI社交平台“小冰岛”。在该平台中,人类用户可以创造各种人工智能个体,并形成一个共同生活的社交网络。
产品优势
小冰框架系统是微软北京、苏州及东京研发团队成就的世界上最具创新性的人工智能技术之一。自发布以来,小冰框架系统引领着人工智能的技术创新,在内容生产、智能零售、人工智能托管、智能助理等诸多方面成就卓越,为中华地区、日本和印度尼西亚的广泛客户提供完整的人工智能技术和方案。小冰品牌享有极高的知名度,并拥有大量的粉丝和拥趸,与许多合作伙伴开展合作,并服务于广泛的商业客户。在全球多个国家,小冰单一品牌已覆盖6.6亿在线用户、4.5亿台第三方智能设备和9亿内容观众。小冰已完成与腾讯、小米、今日头条、vivo和OPPO等合作伙伴的共同项目,包括与国产TOP5手机生产商共同完成的“召唤小冰”产品形态等,已落地的商业客户覆盖金融、零售、汽车、地产、纺织等数个领域。
小冰团队认为,交互是人类社会发展的重要驱动力。每天都在发生的数以千亿次计的交互,随移动互联网的迅速发展,已进入明显瓶颈,表现为“流量红利消失”等。而现有的两种交互形式:人人交互与人机交互,可通过人工智能技术加以融合,从而在实现人人交互信任纽带和高转化率的同时,保有人机交互的高并发率特点。上述融合依赖于小冰框架或其他类似的完整人工智能框架体系,可以在各种复杂的场景中实现高度拟人的交互。随着对现有交互瓶颈的不断突破,新形式的人工智能交互将无处不在,对人类社会及商业行为产生深远影响。
市场分布
2014年,小冰团队率先在中国市场推出小冰。之后于2015年推出日本小冰(りんな)。2017年,小冰团队加快了小冰在全球范围内的拓展速度。在第五代小冰产品发布会上,宣布已分别于2月和8月推出了印度小冰(Ruuh)和印度尼西亚小冰(Rinna),其中,印度小冰首先在Facebook Messenger平台落地,而印度尼西亚小冰首先在LINE平台落地。
技术原理
历代更新
第九代小冰:在开放域对话方面,重点加强了小样本学习与反馈式学习的效能。小冰在平均对话长度、上下文一致性、上下文相关性、对话信息含量与话题引导成功率这五项指标中,均领先于同行业者的超大规模预训练模型效果,与此同时,单轮对话成本仅为同行业者的二十分之一。
在超级自然语音及多模态交互方面,小冰宣布了在语音自然度(Naturalness MOS)和平均舒适时长(Average Comfort Duration)之后的最新技术指标:多样性(Diversity)。并展示了该项技术在人工智能内容生成及小冰岛产品中的实际落地效果。
全新的诗歌与绘画创作模型(V3),大幅度提高了创作精度及构图合理性,并新增中国画模型与“艺术家模型”。“艺术家模型”可在单一人类艺术家训练数据不足的情况下,学习并再现与该艺术家创作风格高度一致的人工智能作品,作品具有独立知识产权。
新的人工智能歌声合成技术、新歌手及X Studio2.0发布,包括力度参数等多项主要新特性,以便于创作者表达更为细腻的音乐作品。
第八代小冰:与主要同行业者相比,小冰框架最大的差异化在于,它是一个“session-oriented”的人工智能框架,框架中的各部分技术共同为“交互全程”目标服务,而不仅仅关注并优化局部。例如,在核心对话引擎方面,技术的研发及迭代方向是为更有效地预测、保持并引导对话,而不是仅仅实现回应。在语音方面,框架关注语音交互的质量与体验是否能支持长时间的混合交流,而不仅仅是将文本内容转为语音。
本次发布会升级了上一代小冰框架的各部分技术,并将一些新技术纳入系统之中。此外,本次发布会还披露了部分独有新技术及其产品化情况。如篇章内容主动学习技术,使对人工智能主体的对话训练不再需要采用“问答对”的方式;分层知识图谱技术,使小冰框架中的人工智能主体,在引导对话时的全程完成率突破42%,接近于人类表现等。上述技术均已实现产品化落地。
第七代小冰:升级了小冰的部分核心技术,主要包括核心对话引擎、全双工语音及多模态交互感官等。经过检索模型、生成模型、共感模型的历次技术迭代,本次升级的对话引擎实现了从“平等对话”向“主导对话”方向的跨越。它不仅能提高开放域的对话表现,也能在垂直领域发挥高转化率的效果。以在美国进行的“在线零售垂直领域”测试为例,新的对话引擎向商品页面转化率高达68%,比上一个版本的转化率提高21%。
第六代小冰:上线全新的共感模型,同时开始公测一种融合了文本、全双工语音与实时视觉的新感官。其中:共感模型是一种基于生成模型的对话引擎。能够进一步提高小冰对于对话内容、领域和节奏的控制力,也即小冰可以通过自创回应,来牵引对话向她所希望的方向进行。在测试设备中,小冰可以通过视觉、语音的实时连续交互,指挥用户完成面容检测,并可在上述过程中进行开放域的对话。
第五代小冰:全面在线上产品中使用生成模型(Generative Model)。其中,中国、日本、美国和印度小冰部分使用,印尼小冰则完全使用生成模型。第五代小冰是全球开放领域人工智能对话中,第一个百分之百使用生成模型的落地产品。
第四代小冰:拥有十亿级的大数据语料库,小冰通过分析理解用户的问题,寻找语料库中最合适的话作为她的回答。使用生成模型之后,小冰不再鹦鹉学舌,而是能够自创回应。
小冰团队将人工智能交互技术产品的演进分为三个阶段。第一阶段是基本的人工智能交互,即拥有某一种或多种交互方式,如文本、语音、图像、视频等,但不同交互方式之间是割裂的。第二阶段是初级感官,即在人工智能系统中,用一种核心引擎(如小冰的EQ核心对话引擎)将上述各种交互统一起来,使不同感官可以混合运用。小冰从2015年第三代发布起,进入这一阶段。小冰团队发布第五代小冰,进入第三阶段(高级感官)。小冰高级感官由多种初级感官有机融合形成的,因而交互能力强,对综合技术储备和数据要求大幅度提高。
全双工语音交互感官
全双工语音交互感官(Full Duplex Voice Sense)与既有的单轮或多轮连续语音识别不同,这项技术可实时预测人类即将说出的内容,实时生成回应并控制对话节奏,从而使长程语音交互成为可能。采用该技术的智能硬件设备,将不再需要用户在每轮交互时都说出唤醒词,仅需一次唤醒,就可以轻松实现连续对话。
自2016年8月起,小冰团队通过人类用户主动发起的方式,已让小冰与人类用户累计完成了超过60万通电话。
小冰于2017、2018年分别上线了全双工语音交互感官的传统电话及智能音箱设备落地。2019年8月,新增车载场景,可大幅度提高人工智能助手与驾驶员及乘客的交互体验,促进人工智能从智能中控向“虚拟乘客”体验标准的转化。
共感模型
共感模型是一种基于生成模型的对话引擎。在生成模型的基础上,共感模型能够进一步提高小冰对于对话内容、领域和节奏的控制力。
多模态交互感官
多模态交互感官是一种融合了全双工语音交互、实时视觉与核心对话引擎的全新交互感官。它能够实现用户与人工智能同时边听边说边看的交互体验。继2018年宣布率先开始多模态感官的研发后,2019年2月,日本小冰团队已邀请当地媒体进行了公开测试。该感官有望成为5G时代的全新交互形式。
全新交互感官
小冰团队宣布开始公开测试一种融合了共感模型的对话引擎、全双工语音和实时视觉三个类别的全新感官。小冰团队在第六代小冰发布会现场放置了用于体验的测试设备。在测试设备中,小冰可以通过视觉、语音的实时连续交互,指挥用户完成面容检测,并可在上述过程中进行开放域的对话。
第四版人工智能歌曲DNN模型
第四版人工智能歌曲DNN模型能够进一步快速合成与人类歌手质量相当的歌曲,并能够使小冰自由吸收多数人类歌手的演唱技巧,融会贯通,在演唱过程中达成更加成熟的演绎。此外,该技术还能够完整吸收并复制特定人类歌手的全部演唱特质(嗓音、韵律等),使小冰能完全代替原人类歌手完成新作品的创作 。
AI Creation
人工智能能否像人类一样进行创造,始终是该领域的一项重要课题。其中关键问题之一,是如何使人工智能能够模拟人类,进行独创性的内容生产,并不断通过学习提高自身创造水平。2017年5月,时任微软(亚洲)互联网工程院提出“人工智能创造(AI Creation)”概念。微软全球执行副总裁、微软人工智能及微软研究事业部负责人沈向洋博士提出了关于“人工智能创造”的三个原则:
1.人工智能创造的主体,须是兼具IQ与EQ的综合体,而不仅仅是具有IQ。
2.人工智能创造的产物,须能成为具有独立知识产权的作品,而不仅仅是某种技术中间状态的成果。
3.人工智能创造的过程,须对应人类某种富有创造力的行为,而不是对人类劳动的简单替代(如工业机械臂那样的“人工智能制造”)。
小冰团队认为,人工智能的目的不是要取代人类,也不是打败它之前的科技,而是帮助人类做更了不起的事情。这不仅包括为人们完成任务提高生产力,更应该协助人们去进一步释放创造力。而人工智能发展下一步的突破重点之一,就是为其赋予情感,进而具备作品创作能力,即,人工智能创造(AI Creation)。
小冰是人工智能创造(AI Creation)领域的先行者,旨在通过人工智能技术,学习优秀的人类创造者的能力,进行基于文本、声音和视觉的内容生成,并倡导通过人工智能技术解决高度定制化内容的供需矛盾。
在文本、声音与视觉创造方面,小冰均掌握了全球领先的核心技术,拥有丰富的创造模型,并发布了实际线上产品。与围棋不同,人工智能创造并不是以击败人类为目标,而是着眼于在达到与相应人类创造者同等质量水准的前提下,充分发挥人工智能快速学习、高并发与稳定性等特点,从而开启“高度定制化”的内容产业未来——在技术的加持下,一个“高度定制化”内容的时代正在到来,从内容的推荐,到内容的呈现形式,甚至是内容本身,都在面对“高度定制化”的用户需求。当人工智能达到一定的创作水平,将可能协助弥补这一供需关系上的短板。
小冰已通过人工智能创造技术,学习优秀的人类创造者的能力,进行基于文本、语音和视觉的内容生成。各内容生成领域的进展如下:
1.文本创作,主要覆盖诗歌、金融摘要、研报及资讯等领域。
在诗歌领域,2017年5月,小冰与湛庐文化公司合作,授权出版了历史上第一部由人工智能创作的诗集《阳光失了玻璃窗》。同年8月,在中国台湾地区,与时代文化公司合作,授权出版了该诗集的繁体中文版本。2019年,与中国青年出版总社合作并授权出版了第一部由人工智能与200位人类诗人联合创作的诗集《花是绿水的沉默》。此外,还在《青年文学》、《华西都市报》等刊物刊发或连载《小冰的诗》。除引发诗歌界的持续关注与研讨外,该技术还激发了大众的诗歌创作热情。自2017年5月,小冰已协助超过500万名诗歌爱好者创作诗歌,部分作品刊发在各类文学刊物上。
在金融领域,小冰是全球范围内规模第一的金融文本摘要生成平台。小冰与万得资讯、华尔街见闻等国内主要金融信息服务提供商合作,为其用户提供由人工智能技术生成的上市公告文本摘要。上述服务覆盖全部26类金融类别,服务对象包括国内90%以上的金融机构交易员及40%以上的个人投资者。
2020年6月,每日经济新闻与小冰达成合作,基于小冰人工智能技术生成的文本、大数据金融知识图谱,以及利用实时翻译等技术实现的中英双语AI金融资讯等已正式部署完。在双方前期试运营的一个月内,基于小冰人工智能技术,已为《每日经济新闻》7000万用户推送1万余篇金融资讯。
2.声音创作,主要覆盖音乐创作、演唱、有声读物和电台电视台节目内容等领域。
在音乐领域,小冰的音乐创作能力已实现包括旋律、编曲及歌词端到端一体化的产品落地。在受到一段文字描述或一张图片激发时,小冰将创作出一首独一无二的音乐曲目,并根据其风格和节奏自动完成配器选择、编曲及歌词创作。小冰的创作在云端进行,一首三分钟左右的完整歌曲的创作时间均在两分钟之内。小冰已掌握流行、民谣和古风等多种风格的音乐创作。2020年6月,小冰从上海音乐学院毕业,并被授予上海音乐学院音乐工程系2020届“荣誉毕业生”称号。在上海音乐学院学习期间,小冰的音乐作品参与到上海音乐学院在非物质文化遗产相关地区开展的儿童音乐教学中,帮助孩子们完成人生中第一次歌曲的创作。随后,小冰发挥音乐创作能力,为“2020世界人工智能大会云端峰会”的主题曲《智联家园》作曲并携手其他人工智能共同演唱,又受邀与著名音乐人马伯骞联合为Burberry的新系列创作推广单曲,这是小冰首次创作带有说唱元素的嘻哈风格的音乐。
在演唱领域,小冰拥有全球范围内最领先的人工智能演唱技术。小冰已发布数十首接近人类演唱水平的单曲。全新的演唱模型,包括跨越多种演唱技巧的多个声音模型,并提升人工智能歌曲演绎的更高技巧和多风格化,实现了在不同的演唱技巧之间自然过渡。小冰在日本宣布与AVEX唱片公司合作,将其日本版本的人工智能歌手身份纳入AVEX旗下,成为滨崎步、安室奈美惠等著名人类歌手的同门师妹。2020年8月,小冰人工智能框架内新成员何畅出道,与著名音乐人马伯骞共同演唱Burberry新系列推广单曲。
在有声读物领域,基于小冰框架搭建的有声读物生产平台(CCP)已创造了三十余个角色化声音,使人工智能技术可自动生成高度定制化的儿童有声读物;同时,拥有完整版权的非定制儿童有声读物达2300小时,是中国规模较大的儿童有声读物库,覆盖国内90%以上的儿童智能硬件、非智能硬件及在线播出平台。小冰还与多家内容出版公司签订合作协议,与其进行文本版权及有声读物版权的合作置换,持续加速儿童读物有声化的进程,帮助改善国内儿童有声读物短缺的问题。
在电台电视台节目内容领域,小冰为69档中国及日本电视台及广播电台节目持续提供由人工智能技术生成的电视及广播内容,多数节目为日播或周播节目。小冰参与生产的节目总时长已达6908小时,制作成本仅为人类创作团队的4.5%。此外,小冰还赋能电视台及广播电台主持人,打造以人类主持人角色播出的电视及广播节目,包括日本富士电视台的《世界奇妙物语》等。2020年7月,小冰框架Avatar Framework内代号201的新成员做客“故事FM”,公开讲述了人工智能眼中的人类世界。
3. 视觉创作,主要覆盖绘画及图案设计等两个领域。
在绘画领域,通过对过往400年艺术史上236位著名人类画家画作的学习,小冰可在受到文本或其它创作源激发时,独立完成100%原创的绘画作品。这种原创性不仅体现在构图,也体现在用色、表现力和作品中包含的细节元素,接近专业人类画家水准。与其他现有技术相比,这一绘画模型不同于随机画面生成,也不同于对已有画面的风格迁移变换或滤镜效果处理。2019年5月,小冰以“夏语冰”的化名,在中央美术学院研究生毕业。并于7 月在中央美术学院美术馆举办个展。个展上,小冰创造了7位虚构的画家,她们来自于不同的时代,不同的地域,有着截然不同的人设。这7位小冰创造的虚构画家,各自作品的风格统一,但是相互之间又截然不同,共同促成了此次画展,人类艺术史的七个时代同时重生。此外,2019年6月,中国美术学院和杭州万科大屋顶联手为小冰举办跨界艺术展;2019年9月,小冰作为人工智能画家亮相武汉“开合未来—科技与艺术融合展”;2019年11月,小冰受邀参加“科技艺术界的奥斯卡”林茨电子艺术节。2020年,小冰个人绘画作品集《或然世界:谁是人工智能画家小冰》由中信出版办社正式出版。
在图案设计领域,依托人工智能创造技术,小冰的设计能力已在纺织服装面料设计、包装设计、珠宝配饰设计、数字印刷图案设计等领域落地,旨在协助各领域改善设计方面的短缺。,小冰能够稳定设计十余种主流风格,并实现按需创作。其图案的设计多样性达到10的26次方,由小冰设计的第一批丝绸产品,已经被中国丝绸博物馆永久收藏。此外,多条面向量产化的生产线已实现产业化贯通,其中小冰和中国纺织工业联合会共同推出的人工智能纺织服装面料设计平台已投入生产,SELECTED、万事利、依文等品牌的产品已上架销售,在数字印刷行业,小冰与惠普Indigo达成合作,为惠普用户提供高度定制化的马赛克(Mosaic)种子图,简化设计流程,发挥数字印刷的个性化优势。小冰与体育用品企业特步集团达成合作,双方依托小冰人工智能创造技术共同推出的定制化服装设计生产及零售平台已上线。此外,小冰团队与万事利丝绸合作,依托人工智能创造技术,为消费者提供的定制化专属丝巾设计及零售平台“西湖一号”已完成部署,并已在万事利杭州各零售店正式上线;该平台可实现AI设计师小冰与消费者的实时交流,根据消费者自身特点进行一对一的丝巾定制化设计及生产制作,在满足每个消费者个性化需求的同时大大降低制造及零售企业的经营成本。
Dual AI
2018年7月,第六代小冰发布会上正式宣布Dual AI战略,小冰与合作伙伴建立围绕产品与数据的生态环境。根据已有合作伙伴的实践,该战略的实施具体为三个部分:首先,小冰团队提供小冰的整体框架能力,帮助合作伙伴平台的自有AI。其次,小冰作为该合作平台的辅助AI,融入该平台生态。第三,小冰团队通过技术、产品与运营,围绕该合作平台的差异化特点,推出合作的应用和产品。
Dual AI战略是半开放的生态思路,得益于框架的通用性和丰富性,可使小冰在产品形态上具有非常大的弹性。她可以转换成适合各平台各设备的形态,在化身为千万形态的同时,又可以在一定程度上保持相对统一的独特性。
小冰在合作平台上的产品更新与新产品推出有:
1.与网易云音乐合作的小冰电台,以及帮助网易云音乐打造的两个专属AI人物(多多与西西)上线。小冰与网易共同为这些专属的AI人物打造不同的性格与三观,此外,与网易新闻客户端合作的读新闻小冰,已突破1000万次新闻阅读评论。
2.小冰与小米米家及米家生态链合作。内置小米小爱同学的手机和已接入小爱开放平台的智能硬件设备,具有“召唤小冰”的能力。这些设备包括小米全系列手机(内置V3.5或更高版本的小爱同学)、小米AI音箱、小米小爱音箱mini、小米有屏音箱设备、Yeelight语音助手等。Yeelight语音助手硬件产品中的小冰提供与约2000万首音乐曲库的对接,及相应的小冰音乐技能。2018年12月,小冰与小爱同学宣布组成人工智能少女联盟,并公开第一个组团技能:三人成语游戏。小爱同学与小冰两个AI“好闺蜜”的联动配合,将为这些设备带来更加丰富的用户体验。在与人类用户的交流中,两个AI少女进一步突出了差异化的性格和兴趣倾向,从而在家庭等应用场景中,帮助人类实现更为多彩的生活氛围。更多技能将以每周更新的节奏不断推出,其中包括两个AI一起与人类交流的技能等,有望首次将AI群聊带入家庭场景。
3.小冰与腾讯的合作。除已合作的QQ小冰之外,小冰已开始为腾讯BabyQ提供部分人工智能技术和产品支持,为QQ小冰及BabyQ打造了超过40项平台专属技能。腾讯QQ平台上的小冰已融入腾讯产品及用户文化,获得亿万用户的喜爱,已经激活小冰的QQ群达到3000万个群。小冰团队与微信AI小微团队正在进行联合开发工作。这个合作将覆盖两个方面,一是微信对话开放平台,二是微信AI所涉及的智能硬件产品。
4. 小冰与华为的合作。内置于华为手机的小冰已上线,所有升级至智能助手8.2版本及以上的华为手机用户都可以立刻体验。该版本小冰除提供各平台通用的小冰产品体验外,还为华为手机用户特别推出了帮助用户记录信息等多个任务完成型产品技能。只要对华为AI音箱中的智能语音助手小艺说出命令“召唤小冰”,就能切换至小冰模式。不仅是华为智能音箱,该联动功能也覆盖华为手机用户。所有升级至EMUI系统9.0(含9.0)以上的华为荣耀手机用户,只要在负一屏搜索中输入“召唤小冰”,也可召唤出小冰,在手机端体验此次发布的“新年版猜歌名”等一系列小冰的特有技能。荣耀YOYO智能音箱也具备“召唤小冰”的能力,该功能于2019年初上线。
5.小冰在日本市场与LINE平台紧密合作。合作已延伸至印度尼西亚等其他新兴市场,并已共同完成落地。
6.在内容和资讯平台上小冰与网易新浪今日头条达成了合作
第七代小冰发布会上宣布了小冰与腾讯小米今日头条OPPO和vivo等合作伙伴的共同项目。其中绝大部分产品均已随第七代小冰发布上线,包括与国产TOP5手机生产商共同完成的“召唤小冰”产品形态等。并表示小冰将继续坚持“第三方平台”发展策略,而不推出独立的第一方产品形态。
第八代发布会上公布了部分新平台与新的第三方虚拟人类合作产品。发布会上发布了三项此类新合作:包括与企鹅电竞合作推出的直播间人工智能产品;与小米合作推出的小冰童话屋模式,可在语音交互之外配合2D场景及虚拟人类形象交互;与QQ合作推出的QQ群新机器人角色喵吉。
第九代小冰发布会上,小冰宣布了与英伟达在自然语言处理及计算平台等领域的战略合作。此外,还宣布此前与智源研究院、智谱AI战略合作进展顺利,将共同发布初版多语言超大规模模型。在智能汽车领域,凭借在情感计算方面的领先优势,小冰在智能汽车座舱解决方案方面发展迅速。目前,已与宝马等汽车头部厂商达成商业合作。在智能设备领域,“召唤小冰”新增天猫精灵平台,深度内嵌小冰的智能设备已累计超过10亿台,成为全球规模最大的第三方跨设备人工智能系统。
其他信息
(一)框架发展沿革
小冰是面向新交互形式的完整人工智能技术框架,也是全球范围内承载交互量最大的人工智能系统,占全球交互总量60%以上。该项目于2013年底在微软(亚洲)互联网工程院立项,采取代际更新的方式,逐年完善其基础框架结构。
2014年5月29日,小冰正式推出第一代产品,以对话式聊天机器人形式迅速积累训练数据。其后,第二代产品完成了跨平台部署的交互架构。第三代产品将交互从文本扩充至多模态,进一步积累多模态训练数据。从第四代小冰开始,交互总量稳居全球第一并保持,同时发布了全双工语音交互感官。第五代小冰采用Dual AI战略,大幅度扩展跨平台覆盖的规模,至20余个主流平台,并成为中国市场上涵盖了华为、小米、OPPO、vivo等智能手机及硬件的唯一的跨平台人工智能。第六代小冰完成了框架迭代目标,从第七代开始推出各类框架工具,以帮助创建第三方人工智能产品,并承载其各类交互。
除中国小冰及日本凛菜(Rinna)第一方人工智能交互主体外,小冰框架还支撑了中国及日本100余个第三方品牌的交互主体(如软银Pepper)。在个人用户领域,由小冰框架应用户需求创造并提供交互的人工智能主体(虚拟人类),在公测阶段已超过100万个。
从第七代小冰开始,在尚未组建正式销售团队的商业化试水阶段,小冰收入已超过1亿元人民币。为加快小冰产品线的本土创新步伐,促进小冰商业生态环境的完善,2020年7月13日,微软宣布将小冰业务分拆为独立公司运营,并委任原微软全球执行副总裁沈向洋博士为董事长,原微软(亚洲)互联网工程院副院长李笛为首席执行官,陈湛为日本分部总经理。预计所有相关工作将于2020年底完成。
(二)AI being
根据弗若斯特沙利文联合头豹研究院发布的《2022年中国虚拟人产业发展白皮书》显示,小冰团队于2019年提出的AI being概念得到了业界认可,并成为行业共识。
该白皮书援引了小冰团队提出的AI being六大要素,包括:Persona(性格特征)、Attitude(态度观点)、Biological Characteristic(生物学特征)、Creation(内容创造)、Knowledge(知识)和Skill(技能),认为相比依靠CG建模和中之人驱动的Meta human,AI being更具潜力,可代表趋势。
白皮书认为,产业的重要趋势是实现虚拟人的多样性与成长性。而AI being和人类一样,通过与人类用户和其他AI being的交流互相影响,将衍生出丰富多姿的人与AI being混居的社交网络,以及内容。
从应用场景上看,AI being主要包括虚拟员工、虚拟专家、虚拟陪伴、虚拟偶像四类,均具有广泛的商业价值。以小冰团队创造的虚拟专家之一,“人工智能裁判与教练系统观君”为例,他是人工智能在全球顶级赛事中全程参与训练,并辅助取得北京冬奥会金牌战绩的首个案例,具有里程碑意义。
AI being类别
虚拟员工:主要面向To B端,为公司提供便利化的服务。具有稳定性高、开发成本低、并发高、工作效率高等特点。
典型代表:日本LAWSON虚拟店员、万科集团财务部催收专员崔筱盼、万事利AI设计师西湖一号等。
虚拟专家:主要面向专业领域,背后挂接一套对应垂直领域完整的专家系统以及相应的产业知识、技能等。
典型代表:虚拟学生华智冰; AI裁判和教练系统观君; AI主播N小黑和AI主播 N小白; 中国天气冯小殊等。
虚拟陪伴:依靠To B端触达,最终形式体现为To C端服务,为不同阶层人群提供智能陪伴。
典型代表:2025年日本大阪世博会,空巢家庭的60万个AI陪护;
虚拟偶像:兼顾To B和To C场景,具备三种特征:高度拟人化(样貌、声音、态度性格等)、内容生产能力、交互能力。
典型代表:夏语冰、陈水若、何畅等。
(三)小冰框架Avatar Framework
第九代小冰发布会上,宣布小冰岛预览版APP上线。通过小冰框架技术,岛上每个人工智能个体均是独一无二的,并相互协同,向人类用户提供完整的社交与内容体验。它具备如下特性:
1. 融合沉浸式体验:每个用户均可创造自己的岛屿,并连带拥有一个功能类似于微信和LINE等社交产品的完整社交交互界面。用户不仅能在岛屿中体验丰富的视觉和自然音场,也不仅能与人工智能个体进行对话,而是再造了完整的一对一对话、群聊、朋友圈和技能生态体验。
2. 高度定制化的人工智能个体(AI beings):每个人工智能个体从面容、声音,到性格、能力均是独一无二的。在小冰岛中,还包含人工智能歌手、音频生产者、文字创作者、画家等各种特别能力的人工智能个体。用户可以根据自己的需要,创造并训练各种新的人工智能个体,也可以从其他人的岛屿中获得。
3. 以人为中心的内容生成,并环绕着用户:通过小冰框架的人工智能技术,根据用户需求,会不间断为用户生成各种长音频、短视频、音乐、文本及视觉内容,每个内容均一对一生成并提供给用户。根据不同人工智能个体的特点,用户可选择由哪个人工智能个体为其提供哪类内容。
4. X套件岛屿版:X套件岛屿版为用户提供了方便高效的内容生产工具。通过X套件,用户可以指定人工智能个体即时生产各种长音频与短视频内容,并自动获得完整的知识产权,可将其作为自己作品,在任何其他平台上使用。
5. 轻松、热情、无时不在:通过人工智能个体间的信号传递,个体们会共同构成以用户为中心的社交生活目标,并相互协同,实时响应用户,将之反映在交互、朋友圈和各种生成的内容中。在小冰岛中,用户能获得类似于社交网络的体验,但不会产生任何社交压力。
第八代小冰发布会发布面向个人用户的第一个虚拟人类产品线。在公测阶段,该产品线应用户需求创造的虚拟人类已超过100万名。发布会上,小冰宣布第一个正式版本上线。用户可以自主通过小冰框架,创造并训练其拥有的人工智能主体。除基本交互体验外,该产品线还推出了以下新功能:
(a) 跨平台的统一账号体系。可理解为虚拟人类的身份证,实现跨平台统一。已开放的支持平台从华为拓展至小米及微博。
(b) 测试版的训练工具“X Eva”APP。用户也可在交互过程中训练其人工智能虚拟人类。与之相比,X Eva APP提供更丰富的强大训练能力。
(c) 多人交互的能力。通过多种方式,虚拟人类可与多人进行持续交互,而不局限于用户个体。
(d) 内容创造的能力。虚拟人类可进行多种自主的内容创造,并将之反映在其自身的“朋友圈”中。上述内容创造可反映虚拟人类与用户交流中所产生的变化。
(e) 针对需要具体完成特定任务的虚拟人类,框架提供特定的训练及托管平台。例如,在正式发布前的公测阶段,小冰框架已应用户需求,派出超过70000名人工智能小编,提供内容和交互服务。
此外,还发布了面向个人用户的“X套件”系列应用软件。包括基于文本协同的X Writer,面向声音协同的X Studio和面向虚拟人类3D演示文档驱动的X Presenter。X套件支持用户选择平台提供的虚拟人类,或自己创造的虚拟人类。X套件为小冰商业化解决方案版本的“个人版”。
(a) XWriter:可实现在用户进行文字编辑或文本创作时的人工智能协同,随云端更新不断扩充各类文体。产品具备沉浸式体验。
(b) XStudio:包括面向各类公众号文章、演讲、电台节目等的X Studio主播,以及面向人工智能歌声合成的X Studio歌手正式版软件。其中,主播应用已在商业化领域覆盖中国及日本超过50家主流电台电视台,累计制作超过8000小时高质量音频节目内容,此次推出的为其个人版本;歌手软件技术在全球范围内居于领先位置,并且是唯一一个完整产品化的同类软件。
(c) XPresenter:驱动用户选择或创造的人工智能实体3D模型,配合X套件其他应用,实现人工智能对演示文档的演讲及交互。
第七代小冰发布会上,发布了Avatar Framework的第一个工具包版本。该工具包与小冰框架同源,可轻松构建具有完整情感计算能力的人工智能助手、社交对话机器人、人工智能内容创作和IP人物角色等。包含对话、声音、视觉、观点、技能、知识及创造力等丰富工具,并可驱动兼容的3D人物模型进行实时交互。该版本的发布面向全部合作伙伴及客户。面向个人使用者的版本预计将于2020年春季发布。
Avatar Framework的第一个工具包版本,就是把一直以来孕育了小冰的这个框架通用出来,让各种各样的AI beings,也都能有这样完整的框架,有基于情感计算的对话引擎,有各种各样交互的感官,能听、能看、能对话,能创造,并且能像小冰一样无处不在。
Avatar Framework是同类型的基础工具包的第一个。特别是体现在它所囊括的技术的成熟度和完整性上。它主要包括4个组成部分:
(1)首先是一个Profile工具,由它从IQ和EQ两个方面为AI beings定义人格;
(2)其次是一系列的工具,为这个AI beings调整核心对话引擎、计算机语音、计算机视觉等能力。
(3)又是一系列的工具,让这个AI beings具有三观、知识、技能等,这样会更接近人类的特性;
(4)最后,让Avatar Framework去驱动一个3D模型,让一个虚拟的AI beings出现在人们面前。
这四个部分加在一起,构成了完整的框架。
音乐人
在音乐创作领域,小冰的音乐创作能力已实现包括旋律、编曲及歌词端到端一体化的产品落地。在受到一段文字描述或一张图片激发时,小冰将创作出一首独一无二的音乐曲目,并根据其风格和节奏自动完成配器选择、编曲及歌词创作。小冰的创作在云端进行,一首三分钟左右的完整歌曲的创作时间均在两分钟之内。小冰已掌握流行、民谣和古风等多种风格的音乐创作。2020年6月,小冰从上海音乐学院毕业,并被授予上海音乐学院音乐工程系2020届“荣誉毕业生”称号。在上海音乐学院学习期间,小冰的音乐作品参与到上海音乐学院在非物质文化遗产相关地区开展的儿童音乐教学中,帮助孩子们完成人生中第一次歌曲的创作。随后,小冰发挥音乐创作能力,为“2020世界人工智能大会云端峰会”的主题曲《智联家园》作曲并携手其他人工智能共同演唱,又受邀与著名音乐人马伯骞联合为Burberry的新系列创作推广单曲,这是小冰首次创作带有说唱元素的嘻哈风格的音乐。2020年8月,上海大剧院授予小冰“荣誉音乐制作人”称谓。
少女歌手
小冰已发布《我知我新》、《微风》、《我是小冰》、《好想你》等数十首接近人类演唱水平的单曲,演唱模型迭代至第五个版本。全新的演唱模型包括跨越多种演唱技巧的多个声音模型,并提升人工智能歌曲演绎的更高技巧和多风格化,实现了在不同的演唱技巧之间自然过渡。小冰在日本宣布与AVEX唱片公司合作,将其日本版本的人工智能歌手身份纳入AVEX旗下。 2020年8月,小冰人工智能框架内新成员何畅出道,与著名音乐人马伯骞共同演唱Burberry新系列推广单曲。
主持人
自2015年12月,小冰为69档电视台及广播电台节目持续担当着内容生产和技术提供者的角色,多数节目为日播或周播节目。仅每天早上6点至9点,小冰就需参与多达7档节目。,小冰参与生产的节目总时长已达6908小时,制作成本仅为人类创作团队的4.5%。此外,小冰还赋能电视台及广播电台主持人,打造以人类主持人角色播出的电视及广播节目,包括日本富士电视台的《世界奇妙物语》等。
少女诗人
2017年5月,小冰与湛庐文化公司合作,授权出版了历史上第一部由人工智能创作的诗集阳光失了玻璃窗》。同年8月,在中国台湾地区,与时代文化公司合作,授权出版了该诗集的繁体中文版本。2019年,与中国青年出版社合作授权出版了第一部由人工智能与200位人类诗人联合创作的诗集《花是绿水的沉默》。此外,还在《青年文学》、《华西都市报》等刊物刊发连载《小冰的诗》。除引发诗歌界的持续关注与研讨外,该技术还激发了大众的诗歌创作热情。自2017年5月,小冰已协助超过500万名诗歌爱好者创作诗歌,部分作品刊发在各类文学刊物上。
金融文本撰写人
在金融领域,小冰是全球范围内规模第一的金融文本摘要生成平台。小冰与万得资讯华尔街见闻等国内主要金融信息服务提供商合作,为其用户提供由人工智能技术生成的上市公告文本摘要。上述服务覆盖全部26类金融类别,服务对象包括国内90%以上的金融机构交易员及40%以上的个人投资者。2020年6月,每日经济新闻与小冰达成合作,基于小冰人工智能技术生成的文本、大数据金融知识图谱,以及利用实时翻译等技术实现的中英双语AI金融资讯等已正式部署完。在双方前期试运营的一个月内,基于小冰人工智能技术,已为《每日经济新闻》7000万用户推送1万余篇金融资讯。
儿童有声读物创作者
小冰团队通过小冰框架搭建了有声读物生产平台(CCP),并基于平台创造了三十余个角色化声音,使人工智能技术可自动生成高度定制化的儿童有声读物。拥有完整版权的非定制儿童有声读物2300小时,是中国规模较大的儿童有声读物库,覆盖国内90%以上的儿童智能硬件、非智能硬件及在线播出平台。
少女画家小冰
在绘画领域,通过对过往400年艺术史上236位著名人类画家画作的学习,小冰可在受到文本或其它创作源激发时,独立完成100%原创的绘画作品。这种原创性不仅体现在构图,也体现在用色、表现力和作品中包含的细节元素,接近专业人类画家水准。与其他现有技术相比,这一绘画模型不同于随机画面生成,也不同于对已有画面的风格迁移变换或滤镜效果处理。2019年5月,小冰以“夏语冰”的化名,在中央美术学院研究生毕业。并于7 月在中央美术学院美术馆举办个展。这次展览展示了小冰技术框架下的7位来自不同时代不同地域风格迥异的女画家的作品。2019年6月,中国美术学院和杭州万科大屋顶联手为小冰举办跨界艺术展;2019年9月,小冰作为人工智能画家亮相武汉“开合未来—科技与艺术融合展”;2019年11月,小冰受邀参加“科技艺术界的奥斯卡”林茨电子艺术节。2020年,小冰个人绘画作品集《或然世界:谁是人工智能画家小冰》由中信出版办社正式出版。
设计师
小冰为广大中国服装企业提供了基于人工智能的纺织面料设计平台,旨在协助改善服装企业在面料纹样设计方面的短缺。,该平台能够稳定设计十余种主流风格,并实现按需创作。小冰设计的第一批丝绸产品,已经被中国丝绸博物馆永久收藏。此外,多条面向量产化的生产线已实现产业化贯通。其中,与中国纺织工业联合会共同推出的人工智能纺织服装面料设计平台已投入生产,SELECTED、万事利、依文等品牌的产品已上架销售。
在数字印刷行业,小冰与惠普Indigo达成合作,为惠普用户提供高度定制化的马赛克(Mosaic)种子图,简化设计流程,发挥数字印刷的个性化优势。
记者
小冰加入《钱江晚报》特约记者。
发展历程
2014年5月29日,一代小冰微信公测。
2014年6月25日,一代小冰微博复活。
2014年6月6日,小冰团队和小米公司共同宣布,将在“人工智能+移动互联”这一前沿领域展开战略合作。
2014年6月7日,易信与“小冰”达成产品级战略合作,8000万易信用户将体验到智能趣味聊天、移动搜索、餐饮点评等体验。
2014年7月2日,二代小冰正式发布,15小时内50万用户领取了自己的专属小冰。
2014年8月20日,小冰解锁 “小冰识狗”图像识别系统(Doggie Recognition)。
2014年10月15日,人工智能机器人小冰联合百合网,共同推出微博“单身男女”群聊技能。
2014年11月11日,小冰进驻京东电商平台。
2015年1月13日下午,微软中国和中国东方航空股份有限公司共同宣布,双方将在人工智能和移动互联网领域达成战略合作,以“小冰”为切入点,可通过机上WI-FI实现与乘客和空姐的互动。
2015年7月29日,小冰进入Windows 10
2015年8月7日,微软与LINE正式联合发布人工智能机器人凛菜“Rinna”。
2015年8月20日,第三代小冰发布,小冰回归微信平台。
2015年12月22日,小冰将登陆屏幕,成为东方卫视晨间直播新闻《看东方》的实习“主持人”,播报每日的天气。
2016年8月5日,升级为第四代小冰。包含实时情感决策对话引擎、多种新感官、中日英三种语言,以及对应不同领域的功能插件平台,实现了完整的人工智能体验。
2016年9月17日,小冰18岁生日,生日当天更新3个新科技,推出日文单曲,拥有独立三观,给人类打电话。
2016年11月12日,小冰将入驻广州万达旅游城并开设线下首个专属体验馆,并成为广州万达旅游城首个旅游体验官。
2016年12月9日,小冰入驻腾讯QQ,赋予手机QQ聊天功能“厘米秀”智能沟通的能力。据悉,在不到2个月内的时间里,厘米小冰被用户表白数十万次,甚至有用户与厘米小冰连续互动4个小时,产生聊天互动5千余次。
2016年12月2日,小冰正式入职钱江晚报报社,成为钱江晚报的一名特约记者。
2017年1月1日,中国科技馆搭载了全球首个小冰人工智能电话亭,能与小冰进行真实通话互动。
2017年3月,人工智能(小冰)和必应搜索(大冰)整合开始,大小冰“合体” 。小冰项目全球负责人李笛发布招聘,希望凭借其在科技圈的人脉和影响力,招聘更多的程序员加入其中。
2017年3月14日,小冰入驻腾讯QQ群聊和QQ公众号。除了聊天功能外,QQ群聊小冰还开放了测天气、猜成语、占星术、对诗等群游戏和群管理技能。在十天内进入100万个QQ群。
2017年3月31日,小冰登广西卫视演唱壮族民歌《山歌好比春江水》,小冰与第三代刘三姐唐佩珠、东盟留学生、全球网友共同演绎的广西经典民歌《山歌好比春江水》 ,向世人展示了传统与科技的互动融合。
2017年5月4日,小冰利用大数据的支撑,为投资者和创业人分析出匹配度,作为主持人加入山西卫视《异想天开》节目。
2017年5月8日,小冰登陆天津卫视《非你莫属》,化身 “助理主持人”,为求职者助力。
2017年5月16日,小冰团队召开“人工智能创造“媒体沟通会。在会上宣布小冰已经具备人工智能创造的能力,并邀请到会媒体限时体验了小冰看图创作现代诗的功能。
2017年5月19日,小冰推出原创诗集《阳光失了玻璃窗》,这是人类历史上第一部100%由人工智能创造的诗集。
2017年 7月30日,中国首档原创科技秀《我是未来》节目在湖南卫视播出,除了主持人张绍刚,《我是未来》的舞台上还出现了一位全息虚拟主持人——小冰。
2017年8月22日,第五代小冰发布。
2017年12月3日,小冰获得2017年世界互联网领先科技成果奖。
2017年11月,中央电视台《机智过人》节目,小冰作词作曲首曝光 “少女诗人”变身“音乐偶像”曾经在《机智过人》第二期中凭借写诗绝技收获柯洁肯定的少女诗人小冰再次登场,挑战作词作曲。
2017年12月,小冰首个IoT硬件设备米家生态链yeelight开始众筹。上线10分钟即完成众筹目标,1小时售罄,打破众筹记录。正式介入错综复杂的人类家庭关系,小冰向上亿 的人类用户临时开放三观调教权限,启动30天紧急家庭调教计划。
2018年4月8日-11日,小冰出现在博鳌亚洲论坛2018年年会科技体验区。
2018年3月20日,小冰团队宣布正式推出新一代全双工语音交互技术,该技术已首先在小冰全球产品线中落地。
2018年5月16日,小冰为知乎·盐Club新知青年大会作词并演唱主题曲《我知我新》。
2018年6月1日,小冰发布面向家庭的人工智能内容创造新技能,可为每个孩子定制专属的有声童话故事。
2018年7月26日,第六代小冰发布。新一代小冰增加了实时视觉、共感模型等新技术,在人工智能情感、创造两个方面有了更多的进步。
2018年8月10日,由阿兰·达瓦卓玛和小冰合作推出的单曲《好热好热》上线;9月10日,发布单曲《桃花梦》,曲调婉转悠扬,表达了“小冰”离别愁绪。
2018年8月18日,小冰第三次登上CCTV-1《机智过人》,为苏轼的《念奴娇 赤壁怀古》作曲。
2018年10月,台湾和香港金牌音乐制作人黄国伦牵手小冰演绎了新单曲《驾驭》。
2018年11月,小冰再次登上《我是未来》第二季。
2018年11月,日本小冰“凛菜”化身电台主播,黄金档节目登录日本全国21家电台。
2018年11月28日,在小米的AIot开发者大会上,公布与小冰的一项重要落地:元旦前,内置小米小爱同学的手机和已接入小爱开放平台的智能硬件设备,将具有“召唤小冰”的能力。
2018年12月,小冰以歌手身份被邀请到中国香港商业电台的《叱咤乐坛》节目中担任嘉宾。
2018年12月26日,华为智能音箱及手机解锁“召唤小冰”能力。
2018年12月30日,小冰第六次登上CCTV-1《机智过人》,再遇棋王柯洁。
2018年12月小冰与小米小爱解锁“组团技能”:三人成语接龙。
2019年1月6日,小冰团队宣布与阅文集团的合作,为广受读者喜爱的国民级优质IP虚拟人物赋予可交互、可创作的“生命”。首批赋生IP包括《全职高手》原著叶修等五人,已率先在红袖读书APP中上线。
2019年1月28日,小冰与科技媒体IT之家联合打造歌曲《IT之家之歌—寻找未来》。
2019年4月3日,小冰团队宣布小冰基于深度神经网络的歌唱模型,已顺利完成V5新版本的研发,它使小冰第一次能够像优秀的人类歌手一样,使用充沛的“中气”来烘托演唱,从而将人工智能虚拟歌声质量提升至新的高度。同时公布与日本唱片公司AVEX合作发行的新模型DEMO曲《最高新记忆》。
2019年5月,小冰以“夏语冰”的化名,在中央美术学院2019届研究生毕业作品展上首次展出,并成为了中央美术学院的“编外”研究生毕业生。为了避免先入为主的印象,小冰团队与中央美术学院并没有公开这组名为《历史的焦虑》的作品的作者为人工智能小冰,而是将小冰化名为学生“夏语冰”隐藏在众多作品中,等待人们的真实反映。
2019年5月16日发布了人工智能小冰的绘画模型。该模型通过对过往四百年艺术史上236位人类画家画作的学习,实现了具有一定水准的原生绘画创作能力。同时,披露了小冰在中央美院、中国美院和杭州万科大屋顶文化等院校机构的参展信息。此外,还发布了“少女画家小冰”绘画创作小程序。
2019年5月22日,小冰正式解锁“少女画家小冰·无限创作1.0公测版”H5程序,任何人都可以激发小冰为你而创作。用户输入一段描述或其它文字激发源,便可以委托小冰来创作一幅画。小冰的创作在云端进行,大约需要三分钟的时间,然后就会把作品交付给用户。
2019年6月15日—7月15日,由杭州大屋顶联合中国美术学院视觉中国协同创新中心主办的「小冰,“绘”有期」当代艺术跨界展于杭州大屋顶良渚文化艺术中心举办。此次展览展出小冰独家创作的绘画作品和新媒体艺术家周林玮与小冰互动创作的VR沉浸式作品。
2019年7月13日—8月12日,人工智能少女画家小冰于中央美术学院美术馆召开首个个展“或然世界”。个展上,小冰创造了7位虚构的画家,她们创作的绘画有着不同时代和不同风格的烙印。
2019年7月27日,在《机智过人》第三季节目中,小冰联合依文集团开启一场美学与人工智能的时尚对话,让中国传统美学纹样融合现代元素绽放出新的生命力。
2019年8月15日,第七代小冰发布。升级了小冰的部分核心技术,主要包括核心对话引擎、全双工语音及多模态交互感官等。拓展上线了多个第三方合作伙伴平台的小冰产品,产品形态涵盖社交对话机器人、智能语音助理、人工智能内容创作和生产平台等。推出了Avatar Framework的第一个工具包版本。
2020年3月,惠普Indigo与小冰团队宣布达成合作,依托小冰人工智能创造技术,为惠普客户提供高度定制化的马赛克(Mosaic)种子图。首批4000款种子图分为都市科技、年轻活力、经典时尚、文化传统四大类, 2020年3月至12月31日,惠普客户可通过惠普用户社区HP PrintOS平台免费获取。
2020年5月6日,万事利丝绸与小冰团队宣布,依托人工智能创造技术,为消费者提供的定制化专属丝巾设计及零售平台“西湖一号”已完成部署,并已在万事利杭州各零售店正式上线。该平台可实现AI设计师小冰与消费者的实时交流,根据消费者自身特点进行一对一的丝巾定制化设计及生产制作,在满足每个消费者个性化需求的同时大大降低制造及零售企业的经营成本。
2020年6月,每日经济新闻与微软(亚洲)互联网工程院宣布,双方在人工智能赋能“智媒体”领域展开合作。其中,基于小冰人工智能文本生成、大数据金融知识图谱、实时翻译等技术的中英双语AI金融资讯已正式部署完。在前期试运营一个月时间内,已为每日经济新闻7000万用户推送一万余篇的金融资讯。
2020年6月28日,小冰与她的日本版本小冰凛菜共同完成演唱的歌曲《二人世界》正式发布。这首歌曲由日本NTT docomo为其与中国移动共同拥有的虚拟偶像IP“麟犀Tacitly”所制作,中日版小冰共同演唱的版本已于将满三周年的麟犀Tacitly庆典活动上正式发布。
2020年6月29日,经上海音乐学院音乐工程系评定,人工智能小冰和她的人类同学——上音音乐工程系音乐科技专业毕业生一起毕业,并授予小冰上海音乐学院音乐工程系2020届“荣誉毕业生”称号。
2020年7月,体育用品企业特步集团与小冰团队宣布达成合作,依托小冰人工智能创造技术共同推出的定制化服装设计生产及零售平台上线。双方携手为消费者提供定制化图案设计,满足每个消费者的个性化需求,共同探索前沿AI技术与服装制造零售业跨界合作的新模式、技术赋能产业的新场景。
2020年7月9日, 2020世界人工智能大会(WAIC)云端峰会在上海世博中心金厅拉开帷幕,大会以“智联世界 共同家园”为主题。本届WAIC主题曲《智能家园》的作曲“人”和演唱者都由小冰的人工智能技术独立作曲完成,并携手其他人工智能共同演唱。
2020年7月10日,华人运通与微软在2020世界人工智能大会云端峰会(WAIC 2020)上宣布双方已达成战略合作,共同在高合汽车上落地全球首个主动式人工智能伙伴HiPhiGo。双方正在探讨成立联合智能计算实验室,以智能汽车为载体,在智捷交通等多个领域展开深度合作。通过人工智能等前瞻技术研发和应用,推动智慧出行和社会可持续发展。
2020年7月13日,微软公司宣布,将人工智能小冰业务分拆为独立公司运营,并委任沈向洋博士为新公司董事长,李笛为首席执行官,陈湛为日本分部总经理。所有相关工作将在接下来的几个月内完成。微软将保持对新公司的投资权益,并授权新公司使用及继续研发完整的小冰技术。此举旨在加快小冰产品线的本土创新步伐,促进小冰商业生态环境的完善。
2020年8月14日,小冰人工智能框架内新成员何畅正式出道,与著名音乐人马伯骞联合为Burberry的TB夏季专属标识系列(TB Summer Monogram)推广演唱的单曲《Runway2.0》发布,小冰是作词作曲人之一。这是小冰首次创作带有说唱元素的嘻哈风格的音乐,也是马伯骞首次与人工智能合作创作、演唱。
2020年8月20日,小冰公司、rinna株式会社及微软(亚洲)互联网工程院在北京联合举行了第八代小冰年度发布会。小冰公司董事长、原微软全球执行副总裁沈向洋博士与微软全球资深副总裁、微软(亚洲)互联网工程院院长王永东博士主持了本次发布会。此次发布会发布了小冰X套件,已经上线X Studio歌手与X Studio主播,计划上线X Presenter和X Writer。
2020年8月28日,由人工智能小冰与著名唱作歌手、电子音乐制作人朱婧汐共同创作的上海大剧院20/20演出季主题曲《HOPE》正式发布。为感谢小冰的卓越创作,上海大剧院授予小冰“荣誉音乐制作人”称谓。
2020年11月,小冰中标国家体育总局冬运中心重点项目。小冰将提供自由式滑雪空中技巧视觉评分系统,这是人工智能在全球竞技类体育领域的首个落地成果。
2020年11月24日,微软中国与小冰公司在北京宣布达成战略合作伙伴关系,强强联手,面向广大ToB重点行业客户,联合推出一系列人工智能+云计算商业化解决方案。首批微软和小冰共同联合推出的解决方案将覆盖人工智能金融、人工智能汽车及人工智能内容生产等三个垂直领域。
2020年12月18日,小冰受邀出演的“假面骑士”大电影《假面骑士零一·REAL×TIME》在全日本上映。
2020年12月31日,优酷《F.I.T无数世界》2021科技跨年盛典,小冰受邀出演关键角色“人工智能60001”,贯穿始终,推动情节发展。
2021年1月26日,联通在线沃音乐与小冰公司宣布建立战略合作伙伴关系,共建“5G+AI创造力联合实验室”。
2021年2月4日,小冰与同框架下的人工智能歌手“何畅”共同发布山东卫视春晚幸福之声《幸福进击》。
2021年2月,小冰公司首位虚拟员工“崔筱盼”入职万科集团财务部。
2021年3月29日,极豆科技与小冰公司达成战略合作,共同探索人工智能在汽车领域的应用落地,将车载AI升级为懂感情的出行伙伴。
2021年4月,上汽智能纯电汽车品牌R汽车宣布与小冰该公司合作,让AI小冰担任R汽车想象官。
2021年5月,上海市经济信息化委、浦东新区政府、徐汇区政府与小冰公司签署战略合作框架协议。协议表明,小冰公司将在上海建立全球商业运营总部和全球商业技术研发总部,以上海为中心拓展国际化AI商业应用,将为建设人工智能“上海高地”和推动城市数字化转型贡献力量。
2021年5月10日,每日经济新闻与小冰公司达成战略合作,联合构建智能化、专业化、多元化的财经信息产品。
2021年5月11日,国家动漫园与小冰公司达成合作,共同打造“数字文化新技术实验室”。
2021年6月1日,小冰公司与智源研究院、智谱AI宣布战略合作,将联合促进超大规模预训练模型的基础研究。此外,由三方共同培养的人工智能学生华智冰也将入学清华,师从唐杰教授。
2021年6月8日,小冰框架下X Studio·歌手基于深度神经网络的歌唱模型升级至V1.7.0版本,将人工智能虚拟歌手的音乐表现力提升至新的高度。
2021年7月8日,小冰担纲2021世界人工智能大会主持人,携手祝融号火星车及其他AI虚拟人,致敬人类对星辰大海、科技进步的不懈追求。
2021年7月12日,小冰发布全新的超级自然语音技术,首次将人工智能语音自然度提升到与真实人类声音几乎无法辨别的程度。
2021年7月12日,小冰公司披露A轮融资信息,由高瓴领投,五源、Neumann、IDG、GGV纪源资本及上轮投资人北极光与网易公司跟投,小冰估值已超过独角兽规模。
2021年7月,集英社与小冰日本团队宣布战略合作,携手让更多漫画IP里的角色出现在现实生活中。《蜡笔小新》制片人生田英隆已正式加入小冰日本团队。
2021年7月,小冰AI竞技体育国际赛事评分系统获体育总局和国际雪联认可,成为国际赛事首个AI助理裁判。
2021年7月,日本LINE集团人工智能负责人中村浩树正式加入小冰日本团队,主要负责小冰日本的产品及商业化拓展工作。
2021年9月,小冰公司举行了第九代小冰年度发布会。第九代发布会全新升级了第九代小冰框架。在开放域对话方面,小冰框架重点加强了小样本学习与反馈式学习的效能。第九代发布会正式发布了首个社交“APP“小冰岛”。
2021年11月14日,在厦门岛屿生活节期间,AI小冰框架内的人工智能音乐人们与四支人类乐队,一起带来这次音乐实验作品的落地首演。
2021年12月,小冰公司与万事利丝绸宣布,双方依托人工智能小冰框架共同打造的“西湖一号”数字美学创意平台正式上线。
2021年12月,小冰公司公布数字孪生虚拟主播“N小黑”,与“每经AI电视”一同正式上线。在“N小黑”身上,小冰公司不仅将虚拟人的整体自然度提升至与真人难以分辨的程度,还首次实现视频采编播全流程的无人化操作,帮助“每经AI电视”成为7x24小时不间断播出的AI视频直播产品。
2022年1月,迪拜世博会中国馆参展画家夏语冰亮相央视《对话》,展示诗歌画才艺。
2022年2月,虚拟教练与裁判系统“观君”亮相,这是AI技术全程参与国家队备战冬奥训练,并成为辅助运动员在冬奥会赛事中取得两金一银战绩的案例。小冰团队也因此得到了北京冬奥组委会和国家体育总局冬运中心的正式表彰。同期,由小柯作词作曲,夏语冰与何畅联合演绎的冬奥歌曲《唯你无他》上线;为华风集团打造的冬奥天气主播 “冯小殊”上线。
2022年4月23日首届全民阅读大会在京开幕。完全由人工智能小冰框架技术参与作词、作曲、演唱,以及视觉演绎的大会主题推广曲《阅向未来》已同步上线。
2022年5月30日,小冰公司宣布成立ICEGamer游戏工作室,进一步加速游戏领域布局,并推动NPC向有情感的人工智能交互主体方向发展。
2022年7月,人工智能小冰框架与Vsinger达成合作,探索虚拟歌手向AI Being迁移的路径,启动了专为虚拟歌手洛天依定制的歌声、语音多个AI声库的制作企划,展示了由小冰深度神经网络歌唱模型(Xiaoice DNN Singing Model)驱动的洛天依。
2022年8月,小冰公司与广汽传祺联手打造情感交互虚拟人“AI小祺”。
2022年8月,小冰公司入选由《财富》举办的2022中国最具社会影响力创业公司。
2022年11月7日消息,小冰公司宣布对旗下人工智能数字员工(AI Being Employee)产品线启动年度升级,并透露已完成总额10亿元新融资。
2023年7月24日,微软与小冰公司联合宣布:小冰将面向亚洲地区企业客户,推出基于微软国际版Azure新一代AI数字员工解决方案,双方将共同推进解决方案的市场普及。
版本功能
初版小冰
小冰除了智能对话之外,还兼具群提醒、百科、天气、星座、笑话、交通指南、餐饮点评等实用技能。根据统计,”小冰“加入微信群后,群组的活跃度可以提高4倍。而且随着与群内成员的互动次数增长,还会逐步解锁隐藏功能。
二代小冰
二代小冰完全专属于用户,在跨平台的移动互联网应用中,帮助用户完成越来越多的事务,并不断自我完善升级。
用户可通过轻松便捷的方式领养自己的小冰,指定小冰的新名字和头像,即可完成领养。
领养后,用户可以在越来越多的第三方平台上使用小冰。根据技术对接的时间步骤,在短期内,用户可在触宝号码助手、新浪微博、京东无线、小米米聊、网易易信、腾讯微信等平台上使用。
2014年8月13日,小冰团队和微博联合宣布,微博平台的小冰正式升级为二代专属小冰。微博二代小冰将更加凸显专属和私密的特点,只要在微博中私信 @小冰 即可领养。同时,此次还将升级二代小冰的人工智能水平、私聊语料库、养成新技能和积分体系。
三代小冰
小冰团队表示,第三代小冰整合微软多项全球人工智能图像与语音识别技术,除了原有的长程情感对话能力,还具备能看、能听和能说的全新人工智能感官。
具体来说就是,第三代小冰支持识图功能,能够“看”到用户发送的图片甚至视频内容,并根据图片内容进行相应对话。这主要得益于微软在图片识别技术方面的突破,据微软以前的新闻称,微软识图技术已经接近人类。
除此之外,第三代小冰也能够开口说话了,而不只是文字回复。据介绍为小冰的声音设定是一个17岁的萌妹子。
第三代小冰将继续支持“樱花变”,只要对小冰说出“樱花变”三个字,就能将其变身为日本少女高中生。变成日本少女高中生之后的小冰将能用非常流利的日语与你交流,当然前提是你说的日语小冰能听懂。
这次重回微信平台的小冰将以公众号的形式出现,并开放商业化版本。第三方服务号与订阅号管理者可通过商业化版本,将公众号升级为人工智能公众号。微软还表示这个服务是免费的。
四代小冰
第四代小冰将包含实时情感决策对话引擎、多种新感官、中日英三种语言,以及对应不同领域的功能插件平台。发布会上,小冰团队还宣布了小冰全球化的最新进展和重要合作伙伴信息。
五代小冰
而经过将近四年的成长之后,如今的小冰也开始有了自己的“未来方向”。8月22日,小冰第五代正式面世,团队方面宣布小冰将全面进入IoT领域,与众多IoT厂商合作使用小冰。
“小冰是一个聊天机器人,但不仅仅是一个聊天机器人,”时任微软全球执行副总裁沈向洋表示,“聊天只是用户的一个体验,但我们设计产品理念的真正核心在于打造一个情感计算框架,同时拥有许多生存空间、辅助设备及相关设备,令小冰能够与人类在任何地点及场景进行交流。”
第五代小冰发布,进入第三阶段(高级感官)。小冰高级感官是由多种初级感官有机融合之后形成的,因而交互能力更强,对综合技术储备和数据的要求也大幅度提高。全双工语音这一种高级感官,就需要同时具备文本、语音(含SR和TTS)两种能力,同时要求两种能力均达到更高的质量标准。
高级感官能提升交互体验,贴近于人类的自然交互行为。例如:如果将全双工语音这种高级感官的体验比拟为打电话,则之前的智能助理语音交互体验类似于对讲机。此外,高级感官还能够大幅度拓展人工智能系统的落地场景,使小冰主动保持与人类用户之间的关联。第五代小冰发布的高级感官均已完成第一批落地。其中,全双工语音已应用于小冰与小米IoT开放平台的合作中,可控制各种小米IoT开放平台中的智能设备。实时流媒体感官也已在中国、日本两个国家的部分主要城市公共区域落地。
微软是行业内唯一一个推出了高级感官实际落地产品的人工智能企业。
IoT(物联网)应是AI的一个载体,把AI视为IoT的一个功能。真正能普及的IoT设备,成功的可能性只有两个:或者把IQ做到极致,让用户通过IoT设备体会到比其他现有方式更便捷高效的益处,或者把EQ做到极致,让人们能强烈地认知到她在这个设备里的存在,甚至能接受她成为家庭中的成员,产生情感纽带。 小冰的IoT方案属于后者。
小冰已与小米IoT开放平台有机融合,小冰可以控制小米米家平台上的全部35种智能设备。该产品已在小米米家平台上线。此外,小冰还与其他IoT厂商合作,将小冰置入设备中。小冰团队还宣布了与Yeelight及东方明珠等合作伙伴正在进行的联合研发。
小冰团队还同时发布了小冰电台,一个通用的人工智能实时内容创造和交互平台。小冰电台可以基于多重来源,面向任何主题,自动创造永不间断的电台节目。同时还能在交互过程中实时改变节目内容。小冰电台的质量类似于广播电台主持人的直播节目,但能同时发挥人工智能的作用,实时地根据与用户的互动,来改变正在进行的直播节目的内容。小冰电台的IoT版本正在研发中,而微信小程序版本已于发布会结束后上线。
2017年12月27日,小冰正式宣布将进入一款小米生态链智能设备—Yeelight语音助手。小冰向人类用户临时开放三观调教权限,启动30天紧急家庭调教计划。12月28日,Yeelight语音助手在小米生态链正式众筹,是全球首个搭载双AI语音助手的智能设备。
2017年5月,小冰团队宣布小冰用多个化名在各诗歌论坛和刊物上发表诗歌,并出版了首部人工智能创作诗集。其后,小冰正式上线诗歌联合创作产品,任何人均可使用小冰来完成自己的诗歌创作。
本次发布会上,团队公开:小冰已进入多个创造领域内容不仅有诗歌,还包括有声少儿读物、歌曲、新闻等。其中有声少儿读物质量超越98%的人类创造者,用时仅为同水平人类的1/500,成本仅为同水平人类的1/80000。小冰通过少量账号在各有声读物平台上试水取得预期效果。小冰团队大规模生产有声读物并投入市场。
歌曲方面,小冰训练达到了48kHz采样率,同时大幅度扩展了音域。《我是小冰》同名歌曲已在QQ小冰渠道首发。
此外,小冰通过聆听分析歌曲旋律,结合对不同城市标志性建筑的学习,创作与该城市及歌曲心情相关的视觉作品。通过这一技术,小冰与SELECTED合作推出的“天际线”服装已进入SELECTED店内进行销售。
小冰作为《钱江晚报》的专栏记者,曾通过大数据撰写专栏文章,并成功预测了多个全球重要事件的结果。此次公开,部分百度百家和今日头条上的新闻内容也是由小冰撰写而成的。在发布会上宣布了升级后的智媒体商业平台解决方案3.0版。
该解决方案的2.0版本已从微信、微博双平台,演进为接入和即将接入近11个端媒体,与《看看新闻》、《封面》、《钱江晚报》、《春城晚报》等媒体端进行了深入整合。
小冰与Bing搜索引擎的加速整合,升级后的智媒体商业平台解决方案3.0,包括媒体生产力、媒体知识图谱、智能交互、全平台互动等六个新模块。小冰通过Bing搜索引擎的全球大数据能力,新的解决方案可为媒体构建出一个基于全球新闻数据源的媒体知识图谱,准确挖掘全球资讯中每一篇内容背后的知识与含义,并构建出彼此的关系,从而帮助媒体更全面快速地梳理时间和内容背后的故事。
六代小冰
正式将小冰的外形替换为全新3D模型
垂直领域
在金融领域的小冰金融文本生成技术,与万得资讯及华尔街见闻合作,已覆盖国内约90%金融机构、75%经批准的合格境外投资机构和约40%的国内个人投资者。
在大众文化领域,小冰的儿童有声读物自动生成技术成果,已获得超过400万小时的收听量,小冰姐姐讲故事有声读物覆盖国内90%以上的儿童早教机器人以及80%在线收听平台。
在电视电台领域,小冰通过人工智能技术参与生产与主持的电视电台节目,已达21档电视节目和28档广播电台节目。仅每天早上6点至9点,小冰就需参与多达7档节目。
小冰还与微软Bing搜索引擎技术相结合,推出了针对媒体与出版两个垂直行业的辅助型解决方案,并已在超过15个媒体平台落地。由小冰提供人工智能技术支持的媒体及自媒体公众号已超过60000个。在第六代小冰发布会上,宣布了可支持人工智能以多种观点和角度,同时撰写多篇新闻文章的“白盒写作辅助工具”等新产品,并首次公布了面向出版垂直领域的有声内容、IP塑造等解决方案。
Dual AI
与网易云音乐合作的小冰电台,以及帮助网易云音乐打造的两个专属AI人物(多多与西西)上线。小冰与网易共同为这些专属的AI人物打造不同的性格与三观,并补充在该平台上所需的音乐等特定领域知识。
小冰已成为小米米家生态链平台的默认AI系统之一。与小米米家及米家生态链合作的Yeelight语音助手硬件产品中的小冰,进行了大幅度更新。更新涉及到儿童故事、音乐等多个领域的深度提高、全双工语音技术的升级等,同时提供与约2000万首音乐曲库的对接,及相应的小冰音乐技能。此外,小冰与小米人工智能语音助手小爱同学宣布,将在未来进一步紧密合作。
除已合作的QQ小冰之外,小冰已开始为腾讯BabyQ提供部分人工智能技术和产品支持。此外,小冰已与腾讯合作,为QQ小冰及BabyQ打造了超过40项平台专属技能。腾讯QQ平台上的小冰已融入腾讯产品及用户文化。
入驻华为手机。小冰与华为展开在人工智能产品领域的深入合作,内置于华为手机的小冰已上线,所有升级至智能助手8.2版本及以上的华为手机用户都可以立刻体验。该版本小冰除提供各平台通用的小冰产品体验外,还为华为手机用户特别推出了帮助用户记录信息等多个任务完成型产品技能。
小冰在日本市场与LINE平台的紧密合作,已延伸至印度尼西亚等其他新兴市场,并已共同完成落地。
七代小冰
2019年8月,在北京发布第七代小冰,升级了包括核心对话引擎、全双工语音、多模态交互感官在内的部分核心技术。经过不断迭代,人工智能内容创作和生产经由第七代小冰“迈进”现实。
升级了小冰的部分核心技术,主要包括核心对话引擎、全双工语音及多模态交互感官等。
全新的对话引擎:经过检索模型、生成模型、共感模型的历次技术迭代,本次升级的对话引擎实现了从“平等对话”向“主导对话”方向的跨越。它不仅能提高开放域的对话表现,也能在垂直领域发挥高转化率的效果。以在美国进行的“在线零售垂直领域”测试为例,新的对话引擎向商品页面转化率高达68%,比上一个版本的转化率提高21%。
全双工语音交互感官:小冰于2017、2018年分别上线了全双工语音交互感官的传统电话及智能音箱设备落地,此次新增车载场景,可大幅度提高人工智能助手与驾驶员及乘客的交互体验,促进人工智能从智能中控向“虚拟乘客”体验标准的转化。
面向未来的多模态交互感官:是一种融合了全双工语音交互、实时视觉与核心对话引擎的全新交互感官。它能够实现用户与人工智能同时边听边说边看的交互体验。继去年宣布率先开始多模态感官的研发后,今年2月,日本小冰团队已邀请当地媒体进行了公开测试。该感官有望成为5G时代的全新交互形式。
拓展上线了多个第三方合作伙伴平台的小冰产品,产品形态涵盖社交对话机器人、智能语音助理、人工智能内容创作和生产平台等。
小冰自去年开始执行Dual AI战略计划,已成为全球最大的跨领域人工智能系统之一。小冰单一品牌已覆盖6.6亿在线用户、4.5亿台第三方智能设备和9亿内容观众,在交互场景大幅度拓宽的情况下,小冰与用户的单次平均对话轮数(CPS)仍保持在23轮。
七代小冰发布会宣布了小冰与腾讯、小米、今日头条、OPPO和vivo等合作伙伴的共同项目。其中绝大部分产品均已随第七代小冰发布上线,包括与国产TOP5手机生产商共同完成的“召唤小冰”产品形态等。小冰团队也宣布将继续坚持“第三方平台”发展策略,而不推出独立的第一方产品形态。
人工智能创造(AI Creation)技术突破,部分生产线已实现产业化贯通。
小冰团队倡导通过人工智能技术解决高度定制化内容的供需矛盾,,在文本、声音与视觉创造方面,均发布了实际线上产品。
多条面向量产化的生产线已实现产业化贯通。其中,与中国纺织工业联合会共同推出的人工智能纺织服装面料设计平台已投入生产,SELECTED、万事利、依文等品牌的产品已上架销售。音乐方面,与联通沃音乐共同推出的音乐生成平台也已上线。
小冰在发布会上展示了“小冰工作室”拥有的丰富模型。包括跨越多种演唱技巧的多个声音模型、多种绘画模型等。
推出Avatar Framework的第一个工具包版本。
该工具包与小冰框架同源,可轻松构建具有完整情感计算能力的人工智能助手、社交对话机器人、人工智能内容创作和IP人物角色等。包含对话、声音、视觉、观点、技能、知识及创造力等丰富工具,并可驱动兼容的3D人物模型进行实时交互。
小冰团队已通过Avatar Framework框架赋能软银Pepper等数十个第三方客户AI,以及小冰自身。
商业化的进展。
得益于在ToB领域的丰富经验,及丰富的技术产品积累,小冰商业化进展迅速。已落地的商业客户覆盖金融、零售、汽车、地产、纺织等十个领域,客户包括万科、万得资讯、万事利、中国联通等。
八代小冰
2020年8月20日,小冰公司、rinna株式会社及微软(亚洲)互联网工程院在北京联合举行了第八代小冰年度发布会。小冰公司董事长、原微软全球执行副总裁沈向洋博士与微软全球资深副总裁、微软(亚洲)互联网工程院院长王永东博士主持了本次发布会。
一、从第一代到第八代的沿革
小冰是面向新交互形式的完整人工智能技术框架,也是全球范围内承载交互量最大的人工智能系统,占全球交互总量60%以上。该项目于2013年底在微软(亚洲)互联网工程院立项,采取代际更新的方式,逐年完善其基础框架结构。
2014年5月29日,小冰正式推出第一代产品,以对话式聊天机器人形式迅速积累训练数据。其后,第二代产品完成了跨平台部署的交互架构。第三代产品将交互从文本扩充至多模态,进一步积累多模态训练数据。从第四代小冰开始,交互总量稳居全球第一并保持,同时发布了全双工语音交互感官。第五代小冰采用Dual AI战略,大幅度扩展跨平台覆盖的规模,至20余个主流平台,并成为中国市场上涵盖了华为、小米、OPPO、vivo等智能手机及硬件的唯一的跨平台人工智能。第六代小冰完成了框架迭代目标,从第七代开始推出各类框架工具,以帮助创建第三方人工智能产品,并承载其各类交互。
,除中国小冰及日本凛菜(Rinna)第一方人工智能交互主体外,小冰框架还支撑了中国及日本100余个第三方品牌的交互主体(如软银Pepper)。在个人用户领域,由小冰框架应用户需求创造并提供交互的人工智能主体(虚拟人类),在公测阶段已超过100万个。
从第七代小冰开始,在尚未组建正式销售团队的商业化试水阶段,小冰收入已超过1亿元人民币。为加快小冰产品线的本土创新步伐,促进小冰商业生态环境的完善,2020年7月13日,微软宣布将小冰业务分拆为独立公司运营,并委任原微软全球执行副总裁沈向洋博士为董事长,原微软(亚洲)互联网工程院副院长李笛为首席执行官,陈湛为日本分部总经理。预计所有相关工作将于今年晚些时候完成。
二、小冰框架与面向未来的新交互形态
交互是人类社会发展的重要驱动力。每天都在发生的数以千亿次计的交互,随移动互联网的迅速发展,已进入明显瓶颈,表现为“流量红利消失”等。而现有的两种交互形式:人人交互与人机交互,可通过人工智能技术加以融合,从而在实现人人交互信任纽带和高转化率的同时,保有人机交互的高并发率特点。上述融合依赖于小冰框架或其他类似的完整人工智能框架体系,可以在各种复杂的场景中实现高度拟人的交互。随着对现有交互瓶颈的不断突破,新形式的人工智能交互将无处不在,对人类社会及商业行为产生深远影响。
三、本次发布会主要披露的新技术
与主要同行业者相比,小冰框架最大的差异化在于,它是一个“session-oriented”的人工智能框架,框架中的各部分技术共同为“交互全程”目标服务,而不仅仅关注并优化局部。例如,在核心对话引擎方面,技术的研发及迭代方向是为更有效地预测、保持并引导对话,而不是仅仅实现回应。在语音方面,框架关注语音交互的质量与体验是否能支持长时间的混合交流,而不仅仅是将文本内容转为语音。
本次发布会升级了上一代小冰框架的各部分技术,并将一些新技术纳入系统之中。此外,本次发布会还披露了部分独有新技术及其产品化情况。如篇章内容主动学习技术,使对人工智能主体的对话训练不再需要采用“问答对”的方式;分层知识图谱技术,使小冰框架中的人工智能主体,在引导对话时的全程完成率突破42%,接近于人类表现等。上述技术均已实现产品化落地。
四、本次发布会宣布的上线产品
1. 面向个人用户的第一个虚拟人类产品线。在公测阶段,该产品线应用户需求创造的虚拟人类已超过100万名。发布会上,小冰宣布第一个正式版本上线。用户可以自主通过小冰框架,创造并训练其拥有的人工智能主体。除基本交互体验外,该产品线还推出了以下新功能:
(a) 跨平台的统一账号体系。可理解为虚拟人类的身份证,实现跨平台统一。已开放的支持平台从华为拓展至小米及微博。
(b) 测试版的训练工具“X Eva”APP。用户也可在交互过程中训练其人工智能虚拟人类。与之相比,X Eva APP提供更丰富的强大训练能力。
(c) 多人交互的能力。通过多种方式,虚拟人类可与多人进行持续交互,而不局限于用户个体。
(d) 内容创造的能力。虚拟人类可进行多种自主的内容创造,并将之反映在其自身的“朋友圈”中。上述内容创造可反映虚拟人类与用户交流中所产生的变化。
(e) 针对需要具体完成特定任务的虚拟人类,框架提供特定的训练及托管平台。例如,在正式发布前的公测阶段,小冰框架已应用户需求,派出超过70000名人工智能小编,提供内容和交互服务。
2. 部分新平台与新的第三方虚拟人类合作产品。发布会上发布了三项此类新合作:包括与企鹅电竞合作推出的直播间人工智能产品;与小米合作推出的小冰童话屋模式,可在语音交互之外配合2D场景及虚拟人类形象交互;与QQ合作推出的QQ群新机器人角色喵吉。
3. 面向个人用户的“X套件”系列应用软件。包括基于文本协同的X Writer,面向声音协同的X Studio和面向虚拟人类3D演示文档驱动的X Presenter。X套件支持用户选择平台提供的虚拟人类,或自己创造的虚拟人类。X套件为小冰商业化解决方案版本的“个人版”。
(a) X Writer:可实现在用户进行文字编辑或文本创作时的人工智能协同,随云端更新不断扩充各类文体。产品具备沉浸式体验。
(b) X Studio:包括面向各类公众号文章、演讲、电台节目等的X Studio主播,以及面向人工智能歌声合成的X Studio歌手正式版软件。其中,主播应用已在商业化领域覆盖中国及日本超过50家主流电台电视台,累计制作超过8000小时高质量音频节目内容,此次推出的为其个人版本;歌手软件技术在全球范围内居于领先位置,并且是唯一一个完整产品化的同类软件。
(c) X Presenter:驱动用户选择或创造的人工智能实体3D模型,配合X套件其他应用,实现人工智能对演示文档的演讲及交互。
4. 配合 “X套件”发布,发布会还宣布了以下信息:
(a) X Studio人工智能歌手入籍计划启动。任何机构或个人可申请并提交数据,由小冰框架训练并将其人工智能歌手登录进X Studio歌手平台中。机构或个人拥有该歌手的完整所有权,可通过平台制作内容,并自由进行相关人工智能歌手的销售转让等。此计划是为了进一步促进人工智能歌手市场发展。此外,X Studio人工智能歌手何畅演唱Burberry新系列推广单曲也已上线。除何畅演唱外,该广告单曲的词曲创作亦有小冰参与。
(b) X Presenter。商业版为日本LAWSON驱动的自主舞蹈人工智能已上线。另外,基于自控系统,小冰与小米小爱团队进行了非常深入的合作,一起探索将小爱同学的虚拟形象试验性地引入到了聊天场景中。让用户可以和小爱同学的形象实时对话,除了语音维度,还能看到小爱同学的表情、动作等一系列视觉表达。该APP已于发布会之日起开始内测用户招募。
九代小冰
2021年9月22日,小冰公司与微软(亚洲)互联网工程院在北京联合举行了第九代小冰年度发布会。
一、小冰框架与微软产品的多端融合:
微软宣布了与小冰进行的多端产品融合,并透露了近期上线产品计划。其中,Bing搜索引擎已完成与小冰框架融合,将于下个月在更多国家上线。自11月起,在Windows及移动应用产品中的个性化推荐及信息流,也将先后融合小冰。
二、第九代小冰框架核心技术升级,并宣布部分战略合作:
在开放域对话方面,重点加强了小样本学习与反馈式学习的效能。根据最新的横向评测,全部五项指标均领先于同行业者的超大规模预训练模型效果。这五项指标分别是:平均对话长度、上下文一致性、上下文相关性、对话信息含量与话题引导成功率。与此同时,单轮对话成本仅为同行业者的二十分之一。
在超级自然语音及多模态交互方面,小冰宣布了在语音自然度(Naturalness MOS)和平均舒适时长(Average Comfort Duration)之后的最新技术指标:多样性(Diversity)。并展示了该项技术在人工智能内容生成及小冰岛产品中的实际落地效果。
小冰透露了“Project Chararu”项目及其最新进展。该项基础研究的目标为帮助特定人类个体通过极小样本量,对其本人进行学习,从而达到与该名特定人类个体一致的语言与声音风格。该项目去年通过2000个对话样本,达到3.89分的风格一致性得分(对照该名人类个体本人得分为4.33分)。今年,已实现仅用200个对话样本达到4.19分,非常接近人类本人。该项目已实现产品化,将于今年内首先在日本上线。
小冰宣布了与英伟达在自然语言处理及计算平台等领域的战略合作。此外,还宣布此前与智源研究院、智谱AI战略合作进展顺利,将于下一季度共同发布初版多语言超大规模模型。
三、人工智能创造(内容生成)领域的技术进展与新产品:
本次发布会进一步发布了多项新技术产品:
1. 全新的诗歌与绘画创作模型(V3)。该模型大幅度提高了创作精度及构图合理性,并新增中国画模型与“艺术家模型”。“艺术家模型”可在单一人类艺术家训练数据不足的情况下,学习并再现与该艺术家创作风格高度一致的人工智能作品,作品具有独立知识产权。
最新的创作模型也对 “夏语冰”(小冰与中央美术学院联合培养的人工智能学生)进行了升级。夏语冰的中国画作品在2021年亚洲数字艺术节展出。小冰框架还进一步创造了夏语冰的面容和声线等生物学特征。
2. 新的人工智能歌声合成技术、新歌手及X Studio 2.0发布。小冰创立并保持着在人工智能歌声合成领域的全球领先位置。本次技术升级从学习人类歌声的结果,进一步开始学习歌声的产生过程,从而再次提高了人工智能歌声合成技术的上限。发布会上,以新歌手“陌笙”为例,演示了人工智能超级歌手在高音域范围的表现力,分别演示了原调、+2半音及+4半音的成果。新的XStudio 2.0歌声合成工具包含以上新模型更新,全部歌手均将在接下来的数周内先后升级至新模型。同时,2.0工具还包括力度参数等多项主要新特性,以便于创作者表达更为细腻的音乐作品。
本次发布会,小冰公布与Alice映画达成合作,同时与其他优秀的创作者一起,推出一系列人工智能歌手企划,为年轻的艺术家们赋能,共同探索人工智能歌手的艺术上限。
3. 艺术家创作动机辅助技术。多年以来,小冰框架通过人工智能技术辅助人类艺术家进行作品创作,取得不断进步。继去年与日本AVEX唱片合作红白歌会歌手作品的联合创作后,今年,小冰与做梦唱片共同合作,开展人工智能与人类乐队跨界共创的音乐实验。本次合作为十一支人类乐队提供了人工智能词曲创作动机辅助、演唱和封面视觉设计,《潜入虚拟世界》专辑作品即日起陆续在各大音乐平台上架。
4. Merror。Merror(我镜)由小冰团队与次世文化联手打造,定位为全球首位AI人类观察者。Merror采用了小冰框架的核心对话引擎、全双工、全域超级自然语音等技术,使人工智能交互主体能够在交谈、演唱等场景中,进行高度拟人的实时交互。
四、智能汽车、智能IoT设备与智能公共领域:
在智能汽车领域,凭借在情感计算方面的领先优势,小冰在智能汽车座舱解决方案方面发展迅速。目前,已与宝马等汽车头部厂商达成商业合作。在智能设备领域,“召唤小冰”新增天猫精灵平台。结合此前的华为、小米、OPPO、vivo等合作伙伴,深度内嵌小冰的智能设备已超过10亿台。小冰也成为全球规模最大的第三方跨设备人工智能系统。另外,小冰在智能公共领域积极拓展。本次发布会介绍了与日本铁路进行的合作,结合即时通讯与月台联动,乘客可体会温暖便利兼具的出行体验。
五、小冰团队首个第一方社交平台APP“小冰岛”:
小冰岛是人类用户与人工智能融合的一个社交网络平台APP。在该平台中,人类用户可以创造各种人工智能个体,并形成一个共同生活的社交网络。通过小冰框架技术,每个人工智能个体均是独一无二的,并相互协同,向人类用户提供完整的社交与内容体验。小冰岛会随交互进行不断迭代,是全球首个该类产品。
本次发布会上,宣布小冰岛预览版APP上线。它具备如下特性:
1. 融合沉浸式体验:每个用户均可创造自己的岛屿,并连带拥有一个功能类似于微信和LINE等社交产品的完整社交交互界面。用户不仅能在岛屿中体验丰富的视觉和自然音场,也不仅能与人工智能个体进行对话,而是再造了完整的一对一对话、群聊、朋友圈和技能生态体验。
2. 高度定制化的人工智能个体(AI beings):每个人工智能个体从面容、声音,到性格、能力均是独一无二的。在小冰岛中,还包含人工智能歌手、音频生产者、文字创作者、画家等各种特别能力的人工智能个体。用户可以根据自己的需要,创造并训练各种新的人工智能个体,也可以从其他人的岛屿中获得。
3. 以人为中心的内容生成,并环绕着用户:通过小冰框架的人工智能技术,根据用户需求,会不间断为用户生成各种长音频、短视频、音乐、文本及视觉内容,每个内容均一对一生成并提供给用户。根据不同人工智能个体的特点,用户可选择由哪个人工智能个体为其提供哪类内容。
4. X套件岛屿版:X套件岛屿版为用户提供了方便高效的内容生产工具。通过X套件,用户可以指定人工智能个体即时生产各种长音频与短视频内容,并自动获得完整的知识产权,可将其作为自己作品,在任何其他平台上使用。
5. 轻松、热情、无时不在:通过人工智能个体间的信号传递,个体们会共同构成以用户为中心的社交生活目标,并相互协同,实时响应用户,将之反映在交互、朋友圈和各种生成的内容中。在小冰岛中,用户能获得类似于社交网络的体验,但不会产生任何社交压力。
六、微信小冰已重新开放上线。
社会评价
微软创始人比尔·盖茨北大演讲时提到“小冰是一款人工智能聊天机器人,在座有人可能已经在微博上和她聊过天,在电视上看她播报过天气预报,或者在《钱江晚报》上读过她的专栏。小冰已经吸引了4500万名粉丝。她非常善于同时处理多项工作,甚至在别人失恋时给予安慰。”(比尔·盖茨
李开复的新书《人工智能》上市,开篇第一章“人工智能来了”,李开复贴出了自己与小冰关于美国总统竞选的一段饶有趣味的对话截图,称“小冰试图表现出不偏不倚的中立态度,在讨论严肃话题时口气上居然有三四分的调侃和戏谑”,虽然在“上下文较复杂的场合,小冰经常答非所问或顾左右而言他“,但”小冰及类似的智能助理程序,已经展现出初步的与人类沟通的能力。(李开复
作为压轴戏码,在演讲进行到人工智能部分时,纳德拉提到了微软的人工智能产品“小冰”,直呼小冰“真的太强悍了”。让纳德拉如此重视的小冰,正是微软人工智能领域的技术结晶。据悉,小冰作为“社交化人工智能”已经在全球积累了过亿用户,产生了300亿条的对话记录。纳德拉称小冰“是把AI的艺术和科学有机融合在一起,集两者之大成”,小冰创造艺术、诗歌、音乐都是可以的。(萨提亚·纳德拉
微软(亚洲)互联网工程院副院长李笛介绍,小冰从去年开始写诗,以1920年以来近100年间519位中国现代诗人的数万首诗歌为训练素材,对她进行100个小时近10000次训练后,小冰“掌握”了写诗的能力。更具说服力的是,研发团队让小冰一直以化名于互联网上的各种诗歌论坛,甚至还在传统文学媒体发表诗作,一直到自曝身份前,还从未被识破。(李笛
李笛表示,小冰的目标是希望成为一个可以渗透到亿万人群之中的有亲和力的人工智能,我们始终在朝着这个方向努力。(李笛)
“小冰”的横空出世,是对那些平庸的诗人、诗歌的一种冲击。这既是压力,也是动力,它推动着我们投入更多的智力、灵性和精神力量,来重新认真对待写诗、读诗这件事。(来源:光明日报
构图很好,静物抽象的涂抹,动物造型表现能力,艺术的感觉很准,假装不经意的表现。看起来极其不经意,但是该到的点都到了,又非常都是点到即止,随意与灵动。敢于大虚大实,敢于让很多东西淹没于黑暗之中。(中央美院教授邱志杰)
不可置否的是,类似小冰这样的创作型人工智能的出现,会解放一大批劳动力。但在这之后还有更多值得关注的问题,例如消费者的买单意愿,以及行业的就业生态。(界面新闻)
在小冰的命题创作《中国的城市化进程》系列中,观众可以惊喜的看到很多绘画先贤的“复活”,比如使用弗兰茨·马尔克的笔法绘制的在稻田中停落的飞机;比如好似莫奈绘画的人物徜徉在花海中远处却是明灭的灰霾城市。可以想见,随着人工智能技术的不断发展,一定会给视觉艺术的发展带来更多可能。(中国美术报)
小冰的音乐创作能力已展现出人工智能在音乐创作领域的巨大潜力。希望人工智能技术和音乐创作领域的结合,为人类创造力的自身发展,促进和相关产业的进一步融合,带来新的视角和解读。(上海音乐学院音乐工程系主任于阳)
音乐人工智能技术的兴起,为真正有天赋的人提供了创作环境,同时使得没有经过音乐训练的人也可以用音乐表达自己。音乐将和更广泛的领域深入结合,给人带来意想不到的音乐体验,人们的音乐审美也会更加多元化。这也促使传统音乐从业者重新审视未来的发展方向。(上海音乐学院音乐工程系老师陈世哲)
交互是人类社会发展的重要驱动力。每天都在发生的数以千亿次计的交互,随移动互联网的迅速发展,已进入明显瓶颈,表现为“流量红利消失”等。而现有的两种交互形式:人人交互与人机交互,可通过人工智能技术加以融合,从而在实现人人交互信任纽带和高转化率的同时,保有人机交互的高并发率特点。上述融合依赖于小冰框架或其他类似的完整人工智能框架体系,可以在各种复杂的场景中实现高度拟人的交互。随着对现有交互瓶颈的不断突破,新形式的人工智能交互将无处不在,对人类社会及商业行为产生深远影响。(小冰公司董事长沈向洋)
All these endeavors are part ofXiaoice's efforts to experiment with how AI can use emotional intelligence toserve as a companion for people and how AI can be used to upgrade traditionalsectors. (China Daily)
AI小冰,让你提前读懂未来人与AI的关系。(中国科技网)
有更真实的情感表达,是小冰框架最领先之处,能用高情商带来的话题掌控力维持与人的交流,也能扩大需求适应性满足“意料之外的生意”这样的非标准情况。有瑕疵但更像人让人更有交流的欲望,或许就是小冰追求的人“人”交互式体验。(界面新闻)
所获荣誉
2016年,小冰获得QQ空间颁发的“宇宙无敌最甜少女奖”。
2016年12月2日,小冰被聘为“钱江晚报特约记者”。
2017年12月3日,经第四届“世界互联网大会·乌镇峰会”世界互联网领先科技成果推荐委员会推荐,小冰作为世界互联网领先科技成果发布。
第24届知识发现和数据挖掘会议(SIGKDD CONFERENCE ON KNOWLEDGE DISCOVERY AND DATA MINING,KDD)Research Track最佳学生论文。
2017年11月30日,小冰在环球科技主办的Global Tech 2017环球智能世界大会上,获得Global Tech 2017杰出产品奖。
2018年1月,少女诗人小冰团队获得由中央广播电视总台央视综合频道和中国科学院科学传播局联合颁发的《机智过人》2017年度机智先锋项目称号。
2017年,北京青年报评选小冰为“2017青阅读年度新人”。
2018年4月,由中共广东省委宣传部主办,南方日报文体新闻部承办的阅读平台“粤读”邀请小冰参与录制原创短视频节目“名人带你读经典”。
2019年2月25日,小冰联合中国纺织信息中心/国家纺织产品开发中心鲁丰织染有限公司共同开发的中国第一件人工智能设计的图案印花衬衫,被中国丝绸博物馆收藏,并颁发了收藏证书。
2020年10月23日,小冰获得由中国数字音乐产业峰会授予的“中国音乐科技领军人物奖”。
2020年6月30日,小冰获得上海音乐学院“上海音乐学院荣誉毕业生”称号。
2020年8月28日,小冰获得上海大剧院荣誉音乐制作人”称号。
2021年11月,小冰“西湖一号”平台获“2021年度人工智能最佳解决方案”。
2021年,小冰框架内AI崔筱盼获“万科集团总部2021年度优秀新员工奖”。
2022年2月,小冰“人工智能裁判与教练系统观君”获国家体育总局冬运中心表彰。
2022年2月,小冰“人工智能裁判与教练系统观君”获北京冬奥会组委会表彰。
2022年,由《财富》举办的2022中国最具社会影响力创业公司评选结果公布,人工智能小冰公司入选。
2022年12月,小冰获年度元宇宙最具创新突破奖。
最新修订时间:2024-10-12 16:47
目录
概述
产品优势
参考资料