引言
数字图像处理的方法的重要性源于两个主要应用领域:
- 改善图示信息以便人们解释;
- 为存储、传输和表示而对图像数据进行处理,以便于机器自动理解。
本章的主要目的:
(1)定义我们称之为图像处理领域的范围;
(2)从历史观点回顾图像处理的起源;
(3)通过考察一些主要的应用领域,给出图像处理技术状况的概念;
(4)简要讨论数字图像处理中所用的主要方法;
(5)概述通用目的地典型图像处理系统的组成;
(6)列出公开发表的数字图像处理领域的一些图书和文献。
1.1 什么是数字图像处理
An image may be defined as a two-dimensional function, , where
and
are spatial (plane) coordinates, and the amplitude of f at any pair of coordinates
is called the intensity or gray level of the image at that point. When
, and the intensity values of
are all finite, discrete quantities, we call the image a digital image.The field of digital image processing refers to processing digital images by means of a digital computer.
Note that a digital image is composed of a finite number of elements, each of which has a particular location and value.
人类视觉波段很有限,但成像机器几乎可以覆盖从伽马射线到无线电波的整个电磁波谱。
在图像处理到计算机视觉的这个连续统一体并没有明确的界限,但在这个统一体中可以考虑三种典型的计算处理:
- 低级处理:低级处理以输入、输出都是图像为特征,涉及初级操作,如降低噪声的图像预处理、对比度增强和图像尖锐化。
- 中级处理:以输入为图像但输出是从这些图像中提取的特征(如边缘、轮廓及个物体的标识等)为特点,涉及多任务,譬如(把一幅图像分为不同区域或目标的)分割,减少这些目标物的描述,以使其更适合计算机处理及对不同目标的分类(识别)。
- 高级处理:涉及“理解”已识别目标的总体,就像在图像分析中那样,以及在连续统一体的远端执行与视觉相关的认知功能。
a logical place of overlap between image processing and image analysis is the area of recognition of individual regions or objects in an image.
图像处理和图像分析之间合乎逻辑的重叠部分就是图像中各个区域或目标的识别这一领域。因此,在本书中,我们就将数字图像处理界定为其输入和输出都是图像的处理,另外,包含从图像中提取特征的处理,直至包括各个目标的识别。
1.2 数字图像处理的起源
数字图像的最要应用之一是在报纸业,当时第一次通过电缆完成了图片的跨洋传输。但这些通过例子并不认为它们就是我们定义的数字图像处理,因为创建这些图像时并未涉及计算。
数字图像处理的发展与现代计算机的发展密切相关,而第一台功能强大到足以执行有意义图像处理任务的大型计算机出现在20世纪60年代初。我们今天称之为数字图像处理的诞生可追溯至这一时期这些机器的使用和空间项目的开发。
除了空间应用,它在20世纪60年代末和70年代初开始用与医学成像、地球资源遥感监测和天文学领域。
种种例子说明图像处理的结果主要用于人类解译。另外,数字图像处理技术的第二个主要应用领域是解决机器感知的问题。在这种情况下,研究兴趣在于以更适合计算机处理的形式从图像中提取信息的过程。
1.3 使用数字图像处理领域的实例
以电磁波谱辐射为基础的图形是我们最熟悉的,特别是X射线和可见光谱的图像。电磁波可定义为以各种波长传播的正弦波,或视为无质量的粒子流,每个粒子以波的形式传播并以光的速度运动。每个无质量的粒子包含一定的能量(或一束能量),每束能量称为一个光子。如果光谱波段根据光子能量进行分组,可得到图1.5所示的光谱,范围从伽马射线(最高能量)到无线电波(最低能量),
电磁波谱的各个波段之间并没有明确的界线,而是一个波段平滑地过渡到另一个波段。
1.3.1 伽马射线成像
伽马射线成像的主要用途包括核医学和天文观测。
PET:positron emission tomography (正电子放射断层)
c是天鹅星座环图像
d来自反应堆真空管的伽马辐射(亮点)
1.3.2 X射线成像
X射线是最早用于成像的电磁辐射源之一。除了应用于医学诊断,还广泛用于工业和其他领域,如天文学。
血管照相术是对比度增强辐射成像领域的另一个主要应用。该过程用于得到血管的图像(称为血管造影照片)。一根导管(柔软且中空的小管)插入动脉或静脉,导管穿过血管并被引导到要研究的区域。当导管到达所研究的部位时,将X射线造影剂注入导管。这会增强血管的对比度,并可以让放射学者观察到任何病变或阻塞。在图b中,左下方可以看到插入到血管中的导管。
X射线在医学成像中的另一个应用式计算机轴向断层(computerized axial tomography,CAT)。每幅CAT图像都是垂直穿过病人的一个“切片”,当病人纵向移动时可产生大量的“切片”,这些图像组合在一起就构成了人体内部的三维描绘图像,其纵向分辨率与切片数量成正比。
在工业界通常使用的是更高能量的X射线,d图显示了一块电路板的X射线图像,用于检测电路板中的制造缺陷,如元件缺失或断线等。当元件可被X射线穿透时,CAT扫描很有用,譬如塑料元件,甚至更大的物体,如固体推进剂火箭发动机。e图中显示了天文学中X射线成像的一个例子,图1.6c中成像波段是伽马波段。
1.3.3 紫外波段成像
紫外光用于荧光显微镜方法中,这是显微镜方法中发展最快的领域之一。荧光显微镜方法的基本任务是用激发光照射一个样品,然后从较强的激发光中分离出较弱的荧光,这样,仅有辐射光到达人眼或其他检测器,以允许检测足够的对比度而得到照射在暗背景上的荧光区,非荧光材料的背景越暗,设备越有效。
1.3.4 可见光及红外波段成像
可见光处理的另一个主要应用领域是遥感,遥感通常包括可见光和红外波谱范围的一些波段。
可见光和红外光特征之间的区别在这些图像中是十分明显的。例如,在波段4和波段5中,从其周围环境可以看出如何较好地界定河流。
天气观测与预报也是卫星多光谱程成像的主要应用领域。例如,图1.11是由美国国家海洋和大气管理(NOAA)卫星在可见光及红外波段使用传感器拍摄的飓风图像,该图像中飓风眼清晰可见。
图1.12和图1.13显示了红外成像的一个应用。这些图像是“全世界夜间灯光”数据集的一部分,它可以提供全球人类居住区的汇总情况。图像是由安装在NOAA DMSP(防卫气象卫星计划)卫星上的红外成像系统生成的。红外成像系统工作于10.0~13.4μm波段,具有独特的功能,可观察地球表面微弱的接近可见光的近红外发射光,包括城市、小镇、村庄、气体火焰及火光。即使在图像处理方面没有正式地训练过,编写一个计算机程序,用这些图像来估计全世界不同地区使用电能的百分比也并不困难。
可见光谱的一个主要成像领域是生产产品的自动视觉检测。图1.14显示了一些例子。
1.3.5 微波波段成像
典型应用是雷达。成像雷达的特点是在任何范围和任何时间内,不考虑气候、周围光照条件的收集数据的能力。某些雷达波可以穿透云层,在一定条件下还可以穿透之辈、冰层和极干燥的沙漠。在许多情况下,雷达是探测地球表面不可接近地区的唯一方法。成像雷达的工作原理类似于一台闪光照相机,自己提供照明(微波脉冲)去照亮地面的一个区域,并得到一幅快速图像。在雷达图像中,能看到的只是反射到雷达天线的微波能量。
该图像的清晰度和细节未被云层及其他大气条件阻挡,通常这些因素在可见光波段会影响图像。
1.3.6 无线电波段成像
与伽马射线类似,它主要应用于医学和天文学。在医学中,无线电波用于核磁共振成像(MRI),该技术是把病人放在强磁场中,并让无线电波短脉冲通过病人的身体,每个脉冲将导致由病人的组织发射的无线电响应脉冲,这些信号发生的位置和强度由计算机确定,从而产生病人的一幅二维剖面图像。MRI可以在任何平面产生图像。图1.17显示了人的膝盖和脊椎的图像。
这些图像拍摄的是相同区域的图像,但给出了完全不同的脉冲星“视图”。
1.3.7 使用其他成像方式的例子
虽然电磁波谱成像一只占主导地位,但大量的其他成像方式也很重要。特别地,本节讨论声波成像、电子显微镜方法和由计算机产生的合成图像。
利用“声音”成像在地质勘探、工业和医学中得到了应用。地质应用采用的是声谱中的低端声波(几百赫兹),其他应用领域的成像使用超声波(百万赫兹)。图像处理在地质中的最重要商业应用是矿产和石油勘探。为了透过地表获取图像,主要方法之一是利用一辆大型卡车和一个 大的钢制平板,平板由卡车压在地面上,同时卡车以100Hz的频率振动。返回声波的强度和速度由地表下面的成分决定。这些声波经过计算机分析后,可由分析结果生成图像。
图1.19显示了一个周知的三维模型的剖面图像,与此图像对照,测试地震成像算法的性能。箭头指向碳氢化合物(油或气)的油气阱。这一目标比周围地层明亮,因为目标区域内的密度变化较大。地震解释人员寻找这些亮点来发现油气。上面的地层是亮的,但其亮度变化不像对面地层的亮度那样强。许多地震重建算法由于以上缺点使得对目标成像比较困难。
超声波还能用于医学领域,尤其是妇产科。
超声图像是利用下面的基本步骤生成的:
在典型的超声波成像中,每秒钟有上百万个脉冲与回波发出和接收。探头可沿身体表面以不同的角度运动,以便得到各种观察图像。
电子显微镜的功能与光学显微镜一样,只不过使用一个聚焦的电子波束代替光束形成图像标本。电子显微镜的操作包括下面几个基本步骤:
由电子源产生一个电子流,用正电势朝着标本加速。该电子束用金属小孔和电磁透镜限制并聚焦为一个细的单色波束。然后使用一个磁透镜将单色电子束聚焦到样本上。在样本内部产生交互照射并影响电子束。这些交互作用和影响被检测并转化为一幅图像,这种方式与光被物体反射或吸收的方式一样。所有电子显微镜均执行这些基本步骤。
透射电子显微镜(TEM)的工作原理很像一台幻灯片投影仪。投影仪发射出一束透过幻灯片的光;当光通过幻灯片时,它由幻灯片的内容调节。这一发射出的光束然后被投射到观察屏上,形成幻灯片的放大图像。除了发射的是一个电子束通过样本(相当于幻灯片)之外,TEM以相同的方式工作,穿过样本的部分电子束被透射到荧光屏上,而电子与荧光物质的相互作用就产生了光,从而得到了可观察的图像。另一方面,扫描电子显微镜(SEM)实际上扫描电子束并记录每一位置上电子束与样本的相互作用。这会在荧光屏产生一个点。一幅完整的图像由通过样本的电子束光栅扫描形成,非常像电视摄像机。电子与荧光屏相互作用并产生光。SEM适合于“大块”样品,而TEM要求非常薄的样品。
电子显微镜有非常高的放大能力。光学显微镜的放大倍数限制在1000左右,电子显微镜的放大倍数可达10000或更大。图1.21显示了两幅由于过热而造成损坏的样本图像。
这些图像是由计算机生成的。分形(Fractal)是由计算机生成图像的显著例子。基本上,分形只不过是一种基本模式根据某些数学规则进行的迭代复制。(Basically, a fractal is nothing more than an iterative reproduction of a basic pattern according to some mathematical rules. )例如,分形图像可以从一个中心点向外辐射生长,图a就是使用了这种方法生成的。图b显示了另一幅分形图像(“月球表面”),它为前述章节所用过的空间图像提供了一个有趣的模拟。
1.4 数字图像处理的基本步骤
后续章节分为了两类:一类是其输入和输出都是图像;另一类是其输入可能是图像但输出是从这些图像中提取的属性。本节可看成是本书其余内容的综述。
图像获取
:第2章将具体介绍,同时还介绍一些贯穿全书的基本数字图像的概念。注意,图像获取与给出一幅数字形式的图像一样简单。通常,图像获取阶段包括图像的预处理,譬如图像缩放。
图像增强
:对一幅图像进行各种操作,使其结果在特定应用中比原始图像更适合进行处理。特定一词在这里很重要,因为一开始增强技术就建立在面向问题的基础之上(case by case)。由于这个原因,无法组织处适合于增强技术有意义的主体。在2、3、4章介绍新概念时,都会以图像增强作为例子。后两章中的内容涉及许多用于增强图像的传统方法。同时也要注意,这些章节所阐述的内容可应用于比图像增强更广泛的领域。
图像复原
:也是改进图像外观的一个处理领域。然而,与图像增强是主观的,而图像复原是客观的;在某种意义上说,复原技术倾向于以图像退化的数学或概率模型为基础。另一方面,增强以什么是好的增强效果这种人的主观偏爱为基础。
彩色图像处理
已经成为一个重要领域,因为互联网上数字图像的使用在不断增长。第六章涵盖了许多彩色模型和数字域的彩色处理的基本概念。在后续各章中,彩色也是提取图像中感兴趣特征的基础。
小波
是以不同分辨率来描述图形的基础,特别是,本书中以图像数据压缩和金字塔表示使用了小波,在这里,图像被成功地细分为较小的区域。对于压缩,指的是减少图像存储量或降低传输图像带宽的处理。
形态学处理
涉及提取图像分量的工具,这些分量在表示和描述形状方面很有用。正如1.1节所指出的那样,这一章的内容将从输出图像处理到输出图像属性处理的转换开始。
分割过程将一幅图像划分为它的组成部分或目标。通常,自动分割是数字图像处理中最困难的任务之一。成功地把目标逐一识别出来是一个艰难的分割过程。另一方面,很弱的且不稳定的分割算法几乎总是会导致失败。通常,分割却准确,识别越成功。
表示与描述几乎总是在分割阶段的输出之后,通常这一输出是未加工的像素数据,这些数据要么构成一个区域的边界(即分隔一个图像区域与另一个图像区域的像素集合),要么构成该区域本身的所有点。无论哪种情况,把数据转换成适合计算机处理的形式都是必要的。首先,必须确定数据是应表示为一条边界还是应表示为整个区域。如果关注的是外部形状特征,譬如角点和拐点,则表示为边界是合适的。如果我们关注的是内部特性,例如纹理或骨架形状,则区域表示是合适的。在某些应用中,这些表示彼此是互补的。选择一种表示仅是解决把原始数据转换为适合计算机进行后续处理的形式的一部分。为了描述的数据中感兴趣的特征更明显,必须确定一种方法。描述又称为特征选择
,涉及提取特征,它可得到某些感兴趣的定量信息,或是区分一组目标与其他目标的基础。
识别
是基于目标的描绘给该目标赋予标志(譬如“车辆”)的过程。如1.1节详细介绍的那样,我们通过阐述识别个别目标的方法来结束数字图像处理的讨论。
有关问题域的知识已经以知识库的形式编码并存入图像处理系统中,这一知识可能像一幅图像详细描述区域那样简单,在这里定位已知的感兴趣的信息,可将限制性的搜索引导到要寻找的信息处。知识库也可能相当复杂,如材料检测问题中所有主要缺陷的相关列表,或者包含变化检测应用中的一个区域的高分辨率卫星图像的图像数据库。除了引导每个处理模块的操作外,知识库还是要控制模块之间的交互。这一特性有图1.23中处理模块和知识库之间的双头箭头表示,而单头箭头则用于连接处理模块。
虽然没有专门地讨论图像显示,但要记住图像显示很重要,观察图形处理的结果可在图1.23中的任何阶段的输出处执行。还应注意,不是所有的图像处理应用都需要图1.23给出的复杂交互。事实上,在某些情况下甚至并不需要这些模块。例如,用于人眼视觉解释的图像增强就很少要求使用图1.23中的任何其他步骤。然而,通常随着图像处理任务复杂性的增加,需要做更多处理才能解决问题。
1.5 图像处理系统的组成
关于
感知
,需要两个部件来获取数字图像。第一个部件是物理设备,该设备对我们希望成像的目标辐射的能量很敏感。第二个部件称为数字化器
,数字化器是一种把物理感知装置的输出转换为数字形式的设备。例如,在数字视频摄像机中,传感器产生一个与光强成正比的输出,数字化器把该输出转换为数字数据。这些主题包括在第2章中。
专用图像处理硬件
通常由刚刚谈到的数字化器与执行其他原始操作的硬件[如算术逻辑单元(ALU)]组成,算术逻辑单元对整个图像并行执行算术与逻辑运算。如何使用ALU的一个例子是与数字化一样快的图像取平均操作,这一操作的目的是降低噪声。这种类型的硬件有时称为前端子系统,其显著特点是速度快。换句话说,该单元执行要求快速数据吞吐的功能(譬如以30帧/秒的速率来数字化和平均视频图像),典型的主机不能胜任该工作。
计算机
是指通用计算机,其范围从PC到超级计算机,其实感兴趣的还是通用图像处理系统。
图像处理软件
由执行特定任务的专用模块组成。一个设计优良的软件包还包括为用户写代码的能力,例如,最小化就可以使用专用模块。更完善的软件包允许那些模块的集成,并至少用一种计算机语言编写通用软件命令集。
大容量存储能力
在图像处理应用中是必需的。一幅图像的尺寸是1024×1024像素,每像素的灰度是8比特,如果图像不压缩,则需要1MB的存储空间。图像处理应用的数字存储分为三个主要的类别:(1)处理期间的短期存储;
(2)关系到快速调用的在线存储;
(3)档案存储,其特点是不频繁访问。
存储是以字节(8 比特)、千字节(1000字节)、兆字节(100万字节)、吉字节(10亿字节)或太字节(TB)来计量的。
提供短期存储的一种方法是使用计算机内存。另一种方法是采用专用的存储板,这种存储板称为帧缓存,它们可以存储一帧或多帧图像并可快速访问,通常以视频速率(30帧/秒)访问。后一种方法实质上允许瞬时缩放、滚动(垂直移动)和摇动(水平移动)图像。帧缓冲器通常放在专用图像处理硬件单元中,如图1.24所示。在线存储通常采用磁盘或光介质存储。在线存储的关键特性参数是对存储数据的访问频率。最后,档案存储是以大容量存储要求为特征的,无须频繁访问。放在类似于投币电唱机的盒子内的磁带和光盘时通常使用的档案存储介质。
今天使用的图像显示器
主要是彩色电视监视器(更好一些的平面屏幕)。监视器由图像和图形显示卡的输出驱动。
用于记录图像的硬拷贝设备
包括激光打印机、胶片相机、热敏装置、喷膜装置和数字单元,如CD-ROM等。胶片的分辨率最高,但纸作为书写材料是首选的介质。为了表现图像,图形可显示在透明胶片上,或者使用图像投影设备显示在数字介质中。后者作为图像表现的标准正在被逐步接受。
网络
在今天所用的计算机系统中几乎都是默认的功能。
小结
目的:对数字图像处理的起源、重要意义、该技术当前及未来的应用领域提供概括性的介绍。由于篇幅所限,本章中涉及主题的覆盖面必然不太全面,但是在数字图像处理的知识宽度和应用范围方面应该给读者留下了一个清晰的印象。在后面的章节中,将对图像处理的理论和应用方面的阐述,并提供大量的实例,以进一步理解这些技术的应用。