数字图像处理(Digital Image Processing)是通过
计算机对图像进行去除噪声、增强、复原、分割、提取特征等处理的方法和技术。数字图像处理的产生和迅速发展主要受三个因素的影响:一是计算机的发展;二是数学的发展(特别是
离散数学理论的创立和完善);三是广泛的农牧业、林业、环境、军事、工业和医学等方面的应用需求的增长。
简介
数字图像处理(Digital Image Processing)又称为
计算机图像处理,它是指将图像信号转换成
数字信号并利用计算机对其进行处理的过程。
发展概况
数字图像处理最早出现于20世纪50年代,当时的电子
计算机已经发展到一定水平,人们开始利用计算机来处理图形和图像信息。数字图像处理作为一门学科大约形成于20世纪60年代初期。早期的图像处理的目的是改善图像的质量,它以人为对象,以改善人的视觉效果为目的。图像处理中,输入的是质量低的图像,输出的是改善质量后的图像,常用的
图像处理方法有
图像增强、复原、编码、压缩等。首次获得实际成功应用的是美国
喷气推进实验室(JPL)。他们对
航天探测器徘徊者7号在1964年发回的几千张
月球照片使用了
图像处理技术,如
几何校正、
灰度变换、去除噪声等方法进行处理,并考虑了
太阳位置和月球环境的影响,由计算机成功地绘制出月球表面地图,获得了巨大的成功。随后又对探测飞船发回的近十万张照片进行更为复杂的图像处理,以致获得了月球的
地形图、彩色图及全景
镶嵌图,获得了非凡的成果,为人类登月创举奠定了坚实的基础,也推动了数字图像处理这门学科的诞生。在以后的宇航
空间技术,如对火星、
土星等星球的探测研究中,
数字图像处理技术都发挥了巨大的作用。数字图像处理取得的另一个巨大成就是在医学上获得的成果。
1972年英国EMI公司工程师Housfield发明了用于头颅诊断的
X射线计算机断层摄影装置,也就是我们通常所说的
CT(Computer Tomograph)。CT的基
核方法是根据人的头部截面的投影,经计算机处理来重建截面图像,称为
图像重建。
1975年EMI公司又成功研制出全身用的
CT装置,获得了人体各个部位鲜明清晰的断层图像。1979年,这项无损伤诊断技术获得了
诺贝尔奖,说明它对人类作出了划时代的贡献。与此同时,图像处理技术在许多
应用领域受到广泛重视并取得了重大的开拓性成就,属于这些领域的有
航空航天、生物医学工程、工业检测、
机器人视觉、公安司法、军事制导、文化艺术等,使图像处理成为一门引人注目、前景远大的
新型学科。随着图像处理技术的深入发展,从70年代中期开始,随着
计算机技术和人工智能、思维
科学研究的迅速发展,数字图像处理向更高、更深层次发展。人们已开始研究如何用计算机系统解释图像,实现类似
人类视觉系统理解
外部世界,这被称为
图像理解或
计算机视觉。很多国家,特别是
发达国家投入更多的人力、物力到这项研究,取得了不少重要的研究成果。其中
代表性的成果是70年代末
MIT的Marr提出的
视觉计算理论,这个理论成为计算机视觉领域其后十多年的主导思想。图像理解虽然在理论
方法研究上已取得不小的进展,但它本身是一个比较难的研究领域,存在不少困难,因人类本身对自己的
视觉过程还了解甚少,因此计算机视觉是一个有待人们进一步探索的新领域。
数字图像处理在
国民经济的许多领域已经得到广泛的应用。农林部门通过
遥感图像了解
植物生长情况,进行估产,监视病虫害发展及治理。水利部门通过
遥感图像分析,获取水害灾情的变化。气象部门用以分析气象云图,提高预报的准确程度。国防及测绘部门,使用航测或卫星获得地域地貌及地面设施等资料。机械部门可以使用图像处理技术,自动进行金相图分析识别。医疗部门采用各种数字图像技术对各种疾病进行自动诊断。
数字图像处理在通信领域有特殊的用途及应用前景。
传真通信、
可视电话、
会议电视、多媒体通信,以及
宽带综合业务数字网(B-ISDN)和
高清晰度电视(HDTV)都采用了数字图像处理技术。
图像处理技术的应用与推广,使得为机器人配备视觉的科学预想转为现实。计算机视觉或
机器视觉迅速发展。计算机视觉实际上就是图像处理加
图像识别,要求采用十分复杂的处理技术,需要设计高速的专用硬件。
数字图像处理技术在国内外发展十分迅速,应用也非常广泛,但是就其
学科建设来说,还不成熟,还没有广泛适用的
研究模型和齐全的质量
评价体系指标,多数方法的
适用性都随分析处理对象而各异。数字图像处理的研究方向是建立完整的
理论体系。
2020年,中国数字图像处理应用端
市场规模已达217.3亿元,
年复合增长率为252.4%,预计2025年市场规模将增长至6,001.5亿元,年复合增长率将达到94.2%。随应用端需求爆发,数字图像处理行业持续保持较高的增长趋势,数字图像处理技术已在各行业投入使用,广泛应用于手机、汽车、
金融服务、互联网打车和线上租赁公寓等,是人工智能技术中落地最广的技术之一。
截至2021年,安防
影像分析、金融
身份认证及互联网娱乐已成为数字图像处理行业最重要的
技术发展方向,而包括智慧安防、电商消费、
智慧金融、
手机娱乐、
交通运输、
智能家居、
智能制造、
医疗卫生和物流
快运等在内的应用端数量激增,推动数字图像处理行业上游硬件及算法进步,驱动数字图像处理行业中游技术方向
持续创新,未来行业规模将继续增长。
硬件
进行
数字图像处理所需要的设备包括摄像机、数字图像采集器(包括
同步控制器、
模数转换器及帧存储器)、图像处理计算机和图像显示终端。主要的处理任务,通过
图像处理软件来完成。为了对图像进行
实时处理,需要非常高的计算速度,
通用计算机无法满足,需要专用的图像处理系统。这种系统由许多
单处理器组成阵列式
处理机,
并行操作,以提高处理的
实时性。随着
超大规模集成电路的发展,专门用于各种处理算法的高速芯片,即图像处理专用芯片,会形成较大的市场。
目的方法
主要目的
一般来讲,对图像进行处理(或加工、分析)的主要目的有三个方面:
(1)提高图像的视感质量,如进行图像的亮度、
彩色变换,增强、抑制某些成分,对图像进行
几何变换等,以改善图像的质量。
(2)提取图像中所包含的某些特征或特殊信息,这些被提取的特征或信息往往为计算机分析图像提供便利。提取特征或信息的过程是
模式识别或
计算机视觉的预处理。提取的特征可以包括很多方面,如
频域特征、灰度或
颜色特征、边界特征、区域特征、
纹理特征、
形状特征、拓扑特征和关系结构等。
(3)
图像数据的变换、编码和压缩,以便于图像的存储和传输。
不管是何种目的的
图像处理,都需要由计算机和图像
专用设备组成的
图像处理系统对图像数据进行输入、加工和输出。
常用方法
数字图像处理常用方法有以下几个方面:
1)
图像变换:由于图像阵列很大,直接在
空间域中进行处理,涉及计算量很大。因此,往往采用各种图像变换的方法,如
傅立叶变换、
沃尔什变换、
离散余弦变换等间接处理技术,将空间域的处理转换为变换域处理,不仅可减少计算量,而且可获得更有效的处理(如傅立叶变换可在频域中进行
数字滤波处理)。新兴研究的
小波变换在时域和频域中都具有良好的局部化特性,它在图像处理中也有着广泛而有效的应用。
2 )
图像编码压缩:图像编码
压缩技术可减少描述图像的数据量(即
比特数),以便节省
图像传输、
处理时间和减少所占用的
存储器容量。压缩可以在不失真的前提下获得,也可以在允许的失真条件下进行。编码是压缩技术中最重要的方法,它在
图像处理技术中是发展最早且比较成熟的技术。
3 )
图像增强和复原:
图像增强和复原的目的是为了提高图像的质量,如去除噪声,提高图像的
清晰度等。图像增强不考虑图像降质的原因,突出图像中所感兴趣的部分。如强化图像
高频分量,可使图像中物体轮廓清晰,细节明显;如强化低频分量可减少图像中噪声影响。
图像复原要求对图像降质的原因有一定的了解,一般讲应根据降质过程建立“降质模型”,再采用某种
滤波方法,恢复或重建原来的图像。
4 )
图像分割:图像分割是数字图像处理中的
关键技术之一。图像分割是将图像中有意义的特征部分提取出来,其有意义的特征有图像中的边缘、区域等,这是进一步进行
图像识别、分析和理解的基础。虽然已研究出不少
边缘提取、
区域分割的方法,但还没有一种普遍适用于各种图像的有效方法。因此,对图像分割的研究还在不断深入之中,是图像处理中研究的热点之一。
5 )
图像描述:图像描述是图像识别和理解的必要前提。作为最简单的
二值图像可采用其
几何特性描述物体的特性,一般图像的描述方法采用二维形状描述,它有边界描述和区域描述两类方法。对于特殊的纹理图像可采用二维纹理特征描述。随着图像处理研究的深入发展,已经开始进行三维物体描述的研究,提出了体积描述、表面描述、广义
圆柱体描述等方法。
6 )
图像分类(识别):图像分类(识别)属于模式识别的范畴,其主要内容是图像经过某些预处理(增强、复原、压缩)后,进行图像分割和
特征提取,从而进行判决分类。图像分类常采用经典的
模式识别方法,有
统计模式分类和句法(结构)模式分类,近年来新发展起来的
模糊模式识别和
人工神经网络模式分类在图像识别中也越来越受到重视。
应用工具
数字图像处理的工具可分为三大类:
第一类包括各种
正交变换和
图像滤波等方法,其共同点是将
图像变换到其它域(如
频域)中进行处理(如
滤波)后,
再变换到原来的空间(域)中。
第二类方法是直接在
空间域中处理图像,它包括各种
统计方法、微分方法及其它
数学方法。
第三类是
数学形态学运算,它不同于常用的频域和空域的方法,是建立在
积分几何和随机集合论的基础上的运算。
由于被处理图像的数据量非常大且许多运算在本质上是并行的,所以
图像并行处理结构和图像并行处理算法也是图像处理中的主要研究方向。
应用领域
图像是人类获取和交换信息的主要来源,因此,图像处理的
应用领域必然涉及到人类生活和工作的方方面面。随着人类
活动范围的不断扩大,图像处理的应用领域也将随之不断扩大。
1)航天和航空方面
航天和航空技术方面的应用数字图像处理技术在航天和航空技术方面的应用,除了JPL对
月球、火星照片的处理之外,另一方面的应用是在飞机遥感和
卫星遥感技术中。许多国家每天派出很多侦察飞机对地球上有兴趣的地区进行大量的
空中摄影。对由此得来的照片进行处理分析,以前需要雇用几千人,而现 在改用配备有高级计算机的图像处理系统来判读分析,既节省人力,又加快了速度,还可以从照片中提取人工所不能发现的大量有用情报。从60年代末以来,美国及一些国际组织发射了资源
遥感卫星(如LANDSAT系列)和
天空实验室(如SKYLAB),由于成像条件受飞行器位置、姿态、
环境条件等影响,
图像质量总不是很高。因此,以如此昂贵的代价进行简单直观的判读来获取图像是不合算的,而必须采用数字图像处理技术。如LANDSAT系列
陆地卫星,采用多波段扫描器(MSS),在900km高空对地球每一个地区以18天为一周期进行
扫描成像,其
图像分辨率大致相当于地面上十几米或100米左右(如1983年发射的LANDSAT-4,分辨率为30m)。这些图像在空中先处理(数字化,编码)成
数字信号存入磁带中,在卫星经过
地面站上空时,再高速传送下来,然后由处理中心分析判读。这些图像无论是在成像、存储、
传输过程中,还是在判读分析中,都必须采用很多数字
图像处理方法。现 在
世界各国都在利用陆地卫星所获取的图像进行
资源调查(如
森林调查、海洋泥沙和渔业调查、
水资源调查等),灾害检测(如病虫害检测、水火检测、环境污染检测等),
资源勘察(如石油勘查、矿产量探测、
大型工程地理位置勘探分析等),
农业规划(如土壤营养、水份和农作物生长、产量的估算等),城市规划(如地质结构、水源及
环境分析等)。中国也陆续开展了以上诸方面的一些实际应用,并获得了良好的效果。在
气象预报和对太空其它星球研究方面,数字图像处理技术也发挥了相当大的作用。
2)生物医学工程方面
数字图像处理在生物医学工程方面的应用十分广泛,而且很有成效。除了上面介绍的
CT技术之外,还有一类是对医用显微图像的处理分析,如
红细胞、
白细胞分类,
染色体分析,
癌细胞识别等。此外,在X光肺部图像增晰、超声波图像处理、
心电图分析、
立体定向放射治疗等医学诊断方面都广泛地应用图像处理技术。
3)通信工程方面
当前通信的主要发展方向是声音、文字、图像和数据结合的多媒体通信。具体地讲是将电话、电视和计算机以
三网合一的方式在
数字通信网上传输。其中以
图像通信最为复杂和困难,因图像的数据量十分巨大,如传送
彩色电视信号的速率达100Mbit/s以上。要将这样高速率的数据实时传送出去,必须采用编码技术来压缩信息的比特量。在一定意义上讲,编码压缩是这些技术成败的关键。除了已应用较广泛的
熵编码、
DPCM编码、
变换编码外,国内外正在大力开发研究新的
编码方法,如分行编码、自适应
网络编码、小波变换
图像压缩编码等。
4)工业和工程方面
在工业和工程领域中图像处理技术有着广泛的应用,如
自动装配线中检测零件的质量、并对零件进行分类,印刷
电路板疵病检查,
弹性力学照片的
应力分析,
流体力学图片的阻力和升力分析,邮政信件的自动分拣,在一些有毒、
放射性环境内识别工件及物体的形状和排列状态,先进的设计和制造技术中采用工业视觉等等。其中值得一提的是研制具备视觉、听觉和触觉功能的智能机器人,将会给工农业生产带来新的激励,目 前已在
工业生产中的喷漆、焊接、装配中得到有效的利用。
5)军事公安方面
在军事方面图像处理和识别主要用于导弹的精确
末制导,各种侦察照片的判读,具有图像传输、存储和显示的军事
自动化指挥系统,飞机、坦克和军舰模拟训练系统等;公安业务图片的判读分析,
指纹识别,人脸鉴别,不完整图片的复原,以及交通监控、事故分析等。目 前已
投入运行的
高速公路不停车
自动收费系统中的车辆和车牌的
自动识别都是图像处理技术成功应用的例子。
6)文化艺术方面
目 前这类应用有
电视画面的
数字编辑,动画的制作,电子图像游戏,纺织
工艺品设计,服装设计与制作,发型设计,文物资料照片的复制和修复,运动员
动作分析和评分等等,现 在已逐渐形成一门新的艺术--
计算机美术。
机器视觉作为智能机器人的重要
感觉器官,主要进行三维景物理解和识别,是目 前处于研究之中的开放课题。机器视觉主要用于
军事侦察、危险环境的自主机器人,邮政、医院和家庭服务的智能机器人,
装配线工件识别、定位,太空机器人的
自动操作等。
目 前,
电视制作系统广泛使用的图像处理、变换、合成,
多媒体系统中静止图像和
动态图像的采集、压缩、处理、存贮和传输等。
图像处理和图形学紧密结合,形成了科学研究各个领域新型的
研究工具。
10)电子商务
在当前呼声甚高的电子商务中,图像处理技术也大有可为,如
身份认证、
产品防伪、水印技术等。
总之,图像处理技术应用领域相当广泛,已在
国家安全、经济发展、日常生活中充当越来越重要的角色,对国计民生的作用不可低估。
研究方向
自20世纪60年代第三代
数字计算机问世以后,数字图像处理技术出现了空前的发展,在该领域中需要进一步研究的问题主要有如下五个方向:
2)加强软件研究,开发新的
处理方法,特别要注意移植和借鉴其他学科的技术和研究成果,创造新的处理方法;
促进图像处理技术的发展;
4)加强理论研究,逐步形成处理科学自身的
理论体系;
5)时刻注意图像处理领域的标准化问题。
基本特点
处理信息量很大
数字图像处理的信息大多是二维信息,处理
信息量很大。如一幅256×256低分辨率黑白图像,要求约64kbit的数据量;对高分辨率彩色512×512图像,则要求768kbit数据量;如果要处理30帧/秒的电视图像序列,则每秒要求500kbit~22.5Mbit数据量。因此对计算机的计算速度、
存储容量等要求较高。
占用频带较宽
数字图像处理占用的
频带较宽。与语言信息相比,占用的频带要大几个数量级。如电视图像的带宽约5.6MHz,而语音带宽仅为4kHz左右。所以在成像、传输、存储、处理、显示等各个环节的实现上,技术难度较大,成本亦高,这就对频带
压缩技术提出了更高的要求。
各像素相关性大
数字图像中各个像素是不独立的,其
相关性大。在图像画面上,经常有很多像素有相同或接近的灰度。就
电视画面而言,同一行中相邻两个像素或相邻两行间的像素,其
相关系数可达0.9以上,而相邻两帧之间的相关性比帧内相关性一般说还要大些。因此,图像处理中
信息压缩的潜力很大。
无法复现全部信息
由于图像是三维景物的二维投影,一幅图象本身不具备复现三维景物的全部几何信息的能力,很显然三维景物背后
部分信息在
二维图像画面上是反映不出来的。因此,要分析和理解三维景物必须作合适的假定或附加新的测量,例如双目图像或
多视点图像。在理解三维景物时需要知识导引,这也是人工智能中正在致力解决的知识
工程问题。
受人的因素影响较大
数字图像处理后的图像一般是给人观察和评价的,因此受
人的因素影响较大。由于人的
视觉系统很复杂,受
环境条件、视觉性能、人的情绪爱好以及知识状况影响很大,作为图像质量的评价还有待进一步深入的研究。另一方面,计算机视觉是模仿人的视觉,人的感知机理必然影响着计算机视觉的研究。例如,什么是感知的初始
基元,基元是如何组成的,局部与全局感知的关系,优先敏感的结构、属性和时间特征等,这些都是心理学和
神经心理学正在着力研究的课题。
主要优点
1.
再现性好数字图像处理与模拟图像处理的根本不同在于,它不会因图像的存储、传输或复制等一系列变换操作而导致
图像质量的退化。只要图像在数字化时准确地表现了原稿,则数字图像
处理过程始终能保持图像的再现。
数组,这主要取决于
图像数字化设备的能力。现代
扫描仪可以把每个像素的
灰度等级量化为16位甚至更高,这意味着图像的数字化精度可以达到满足任一应用需求。对计算机而言,不论数组大小,也不论每个像素的位数多少,其处理程序几乎是一样的。换言之,从原理上讲不论图像的精度有多高,处理总是能实现的,只要在处理时改变程序中的数组参数就可以了。回想一下图像的模拟处理,为了要把处理精度提高一个
数量级,就要大幅度地改进处理装置,这在经济上是极不合算的。
3.适用面宽图像可以来自多种
信息源,它们可以是
可见光图像,也可以是不可见的
波谱图像(例如
X射线图像、射线图像、超声波图像或红外图像等)。从图像反映的客观实体尺度看,可以小到
电子显微镜图像,大到
航空照片、
遥感图像甚至
天文望远镜图像。这些来自不同信息源的图像只要被变换为
数字编码形式后,均是用
二维数组表示的
灰度图像(彩色图像也是由灰度图像组合成的,例如
RGB图像由红、绿、蓝三个灰度图像组合而成)组合而成,因而均可用计算机来处理。即只要针对不同的图像信息源,采取相应的图像信息采集措施,图像的数字
处理方法适用于任何一种图像。
4.灵活性高图像处理大体上可分为图像的像质改善、
图像分析和
图像重建三大部分,每一部分均包含丰富的内容。由于图像的光学处理从原理上讲只能进行
线性运算,这极大地限制了
光学图像处理能实现的目标。而数字图像处理不仅能完成线性运算,而且能实现非线性处理,即凡是可以用
数学公式或逻辑关系来表达的一切运算均可用数字图像处理实现。