MPEG-7标准被称为“多媒体内容描述接口”,为各类多媒体信息提供一种标准化的描述,这种描述将与内容本身有关,允许快速和有效地查询用户感兴趣的资料。它将扩展现有内容识别专用解决方案的有限能力,特别是它还包括了更多的数据类型。换言之,MPEG-7规定一个用于描述各种不同类型多媒体信息的描述符的标准集合,该标准于1998年10月提出。
简介
随着信息爆炸时代的到来,在海量信息中,对基于视听内容的信息检索上非常困难的。继MPEG-4之后,要解决的矛盾就是对日渐庞大的图像、声音信息的管理和迅速的搜索。针对这个矛盾,MPEG提出了解决方案MPEG-7,力求能够快速且有效的搜索出用户所需的不同类型的多媒体资料。该项工作于1998年10月提出,计划于2001年完成并公布。
这个MPEG家族的新成员被称为“多媒体内容描述接口”(Multimedia Content Description Interface),简称为MPEG-7。其目标就是产生一种描述多媒体内容数据的标准,满足实时、非实时以及推-拉应用的需求。MPEG并不对应用标准化,但可利用应用来理解需求并评价技术,它不针对特定的应用领域,而是支持尽可能广泛的应用领域。
---- MPEG-7将扩展现有标识内容的专用方案及有限的能力,包含更多的多媒体数据类型。换句话说,它将规范一组“描述子”,用于描述各种多媒体信息,也将对定义其他描述子以及结构(称为“描述模式”)的方法进行标准化。这些“描述”-元数据(包括描述子和描述模式)与其内容关联,允许快速有效地搜索用户感兴趣的资料。 MPEG-7将标准化一种语言来说明描述模式,即“描述定义语言”。带有MPEG-7数据的 AV资料可以包含静止图像、图形、3D模型、音频、语音、视频,以及这些元素如何在多媒体表现中组合的信息。这些通用数据类型的特例可以包含面部表情和个人化特性。
---- MPEG-7的功能与其他MPEG标准互为补充。MPEG-1、 MPEG-2和MPEG-4是内容本身的表示,而MPEG-7是有关内容的信息,是数据的数据(data about data)。
特点
MPEG-7标准的最终目的就是要把网上的多媒体内容变成像文本内容一样,具有可搜索性。下面我们具体举几个多媒体内容搜索的例子。
图形:在屏幕上画几条线就能搜索得到类似图形、标识、表意文字(符号)等的一组图像。
音乐:在键盘上弹几个音符就能得到包含要求或者近似要求曲调的音乐作品列表,或者以某种方式匹配音符的图像。
运动:对一组给定的物体,描述在物体之间的运动和关系,就可以搜索得到所描述的时空关系的动画列表。
MPEG-7标准可以独立于其它MPEG标准使用,但MPEG-4标准中所定义的对音频、视频对象的描述也适用于MPEG-7标准。另外我们可以利用MPEG-7标准的描述来增强其它MPEG标准的功能。
MPEG-7标准致力于根据信息的抽象层次,提供一种描述多媒体材料的方法,以便表示不同层次上的用户对信息的需求。我们来看一些例子。对于可视素材,较低的抽象层可能会用一些像形状、尺寸、纹理、颜色、运动(轨道)和位置等属性来描述;对于音频内容而言,较低抽象层可能会采用音调、调式、音速、音速变化、音响空间位置等属性来描述。而最高层可能会给出关于语义的信息:如“在这个场景中,一只小鸟正栖息在树上鸣叫,树下有个人在漫步,还有一辆汽车正在幕后通过。”所有这些描述都会以高速方式进行编码,都能提高搜索的效率。同时,中间也可能存在过渡的抽象层。抽象层与提取特征的方式有关:许多低层特征可以用全自动的方式提取出来,而高层特征需要更多的人工交互。MPEG-7标准还允许依据视觉描述的查询去检索声音数据,反之也一样。
应用
MPEG-7标准的应用范围很广泛,可以在实时或非实时环境下应用:既可以应用于存储(在线或离线),也可以用于流式应用(如广播、将模型加入Internet等)。具体应用主要分为三大类:
索引和检索类
第一类是索引和检索类应用,主要包括:数字图书馆(如图像目录、音乐字典),视频数据库的存储检索;向专业生产者提供图像和视频;商用音乐;音响效果库;历史演讲库;根据听觉提取影视片段;商标的注册和检索。
选择和过滤类
第二类是选择和过滤类应用,主要包括:多媒体目录服务(如旅游信息、地理信息系统);用户代理驱动的媒体选择和过滤;广播媒体选择(如广播、电视节目),个人化电视服务;智能化多媒体表达;消费者个人化的浏览、过滤和搜索;向残疾人提供信息服务。
专业化
第三类是专业化应用,主要包括:远程购物;生物医学应用;通用接入;遥感应用;半自动多媒体编辑(如个人电子新闻业务、媒体写作);教学教育;保安监视;基于视觉的控制。