数字图像处理与分析基础整理pptStillwatersrundeep.流静水深流静水深,人静心深人静心深Wherethereislife,thereishope。有生命必有希望。有生命必有希望第二章数字图像处理系统n系统的构成n数字化设备n存储设备n处理设备n输出设备n处理软件2.1系统的构成n构造特点n面向对象、面向应用n基本成分n硬件、软件n分类n专用、通用硬件结构 n图像数字化设备图像数字化设备n图像处理设备（计算机）图像处理设备（计算机）n图像显示设备图像显示设备n图像存储设备图像存储设备图像处理设备 终端输出图像存储输入图像存储图像采集及数字化设备图像显示设备程序库图2-1 数字图像处理系统的构成图像处理系统构成图示图像处理系统构成2p图像采集图像采集：？电信号（电流、电压）p图像数字化设备图像数字化设备：将图像转换成计算机可以处理的数字形式，通常用数字矩阵表示转换结果。p图像处理设备（计算机）图像处理设备（计算机）：包括硬件设备和软件两部分，即图像存储设备、CPU、程序库等，其中软件或算法是本课程研究的重点。p图像显示设备图像显示设备：包括永久显示设备和暂时显示设备pCRT、LED等为暂时显示设备p打印机、照片等可永久显示图象p显示设备的性能评价通常由人眼观察的图像效果决定 。图像处理系统性能主要衡量指标n图像分辨率图像分辨率 ：“空间分辨率空间分辨率”，图像处理系统具有的分辨图像细节的能力，线对/数字图像的点阵数般来说，n高分辨率的不应低于1024768点阵，中分辨率的为512512或576768点阵，低分辨率的则为256256点阵。n图像分解力图像分解力：是指图像系统对图像明暗程度或色彩的分解能力，bit数表示，bit数越高，性能越好n衡量指标：标称值/实际值两种n标称值指系统A/D取的bit数n实际值则指系统实际所达到的bit位数，实际值常用有效bit位数表示 。主要指标2n视频锁相视频锁相：n外同步，即图像硬件系统内部产生一个同步信号，再送到摄像机以同步进行场扫描。n视频锁相方式，即图像系统分解场同步和行同步信号。n显示功能显示功能：n显示的类型，黑白/伪彩色/真彩色显示n每个象素显示的bit数。n查找表（LUT，look up table）n重叠显示、动态显示等。指标3n帧存容量帧存容量：图像硬件系统内部，图像存储体容量的大小。n三部分：帧存的数目/单位帧存的点阵数（指图像系统用来存储一幅图像必需的帧存，其容量大于等于一幅数字图像的点阵数，小于两幅图像的点阵数，通常取512512或10241024）/每个象素的字长（用bit数表示，黑白或伪彩色系统为8bit，真彩色系统通常为83bit/84bit），新增的通道用于图像叠加处理。n如帧存容量为245125128bit，则表示单位帧存的点阵数为512512，灰度分辨率8bit，共有24个单位帧存指标4n数据传输速度：数据传输速度：主要指图像硬件系统和计算机之间数据传输速度，单位s/pixel。n不给出具体的数值，而是指出所采用的计算机总线类型，如PCI或ISA。n影响的因素有微机的速度、软件的编排、硬件采用的等待时间等等。指标5n硬件指标硬件指标:处理功能n图像的代数运算、逻辑运算、直方图统计、卷积、FFT、二值化以及图像的形态学运算等。n功能参数。n主机功能主机功能：主要指软件的功能和环境n包括处理功能、处理速度。n主机处理还涉及软件环境（DOS/Windows/Unix），以及编程语言、库函数、菜单形式等。现状与趋势n目前仍然是PCI+MMX为主流模式n大量的工作集中在算法和应用软件的研制上，将涌现更多的应用系统n图像硬件系统的发展则集中在高速图像处理系统和各种专业系统的研制2.2 图像数字化设备图像数字化设备n图像数字化器的组成n图像数字化器的性能n数字照相机n摄像机n扫描仪2.2.1图像数字化器的功能n采样n把图像划分为若干图像元素（像素），并给出它们各自的存储地址；n量化n度量每一像素的灰度，并把连续的度量结果量化为整数；n信息保存n将图像量化结果写入存储设备。图2-2 图像数字化器图像数字化器的组成n采样孔采样孔（Sampling aperture）：n图像扫描机构图像扫描机构：n光传感器：光传感器：n量化器量化器：n输出存储体输出存储体2.2.2图像数字化器的性能图像数字化器的性能n像素大小像素大小n图像大小图像大小n被测对象的局部特征被测对象的局部特征n线性度线性度n灰度级灰度级n噪声噪声2.2.3数字照相机（数码相机）数字照相机（数码相机）镜头、感光器件（CCD或CMOS）、MPU（微处理器）、内置存储器、LCD（液晶显示器）、PC卡（可移动存储器）和接口（计算机接口、电视机接口）等部分组成 数码相机的立体剖面图CompactFlash存储卡CompactFlash Memory Card MemoryStick PCMCIA存储设备存储设备 数码相机及存储器数码相机2n电子自扫描固态传感器阵列n电耦合器件（CCD）阵列、CMOS、电荷注入器件（CID）阵列以及光电二极管阵列。nCCD，Charge Couple Device图2-3 面阵CCD示意图A/D转换器nADC（Analog Digital Converter），模拟数字转换器。将模拟电信号转换为数字电信号的器件。n转换速度n量化精度nCCD是将实际景物在X和Y的方向上量化为若干像素，A/D转换器则是将每一个像素的亮度或色彩值量化为若干个等级，这个等级在数码相机中叫做色彩深度。色彩深度就是色彩位数，常见的有 24位、30位和36位等 。 图像存储n压缩、存储n压缩由系统内置的微处理器来完成。n压缩处理与存储图像所用的时间不可忽略，因此在使用数码相机时可以明显感到较长的等待时间。n图像格式的种类繁多，JPEG格式。存储器n内置存储器n半导体存储器，安装在相机内部，用于临时存储图像，接口传送。 n可移动存储器nCompactFlash卡（CF）nSmartMedia卡（SSFDC）nATA Flash 数码相机输出n接口n计算机通讯接口n串行接口、并行接口、USB接口和SCSI接口。n若使用红外线接口，则要为计算机安装相应的红外接收器及其驱动程序n连接电视机的视频接口n连接打印机的接口2.2.4 摄像机（摄像头）摄像机（摄像头）n“电视制式摄像头” n把景物光像转变为电信号的装置。其结构大致可分为三部分：n光学系统（主要指镜头）n光电转换系统（主要指摄像管或固体摄像器件）n电路系统（主要指视频处理电路）n光学系统的主要部件是光学镜头，它由透镜系统组合而成 。型号Model彩色YH-9618彩色YH-9616影像传感器Pick up Element1/4CCD影像图素Number of pixels510(H)492(V)ELA 500(H)582(V)CCIR 清晰度Resolution400TV380TV最低照度 Min.Illumination2Lux/F2.0(F=f/D,f焦距，D有效口径）信噪比S/N Ratio优于46db电子快门Electronic Shutter 1/50(60)to1/100,000背光补偿Backlight Compensations数位处理AUTO 电源Power Supply带稳压直流DC12V10%工作温度Operation Temp-20+50白平衡White Balance自动AUTO同步系统Sync System自动AUTO重量Weigh 380公克尺寸Dimensions(mm)60(宽)50（高）102（深）摄像管p摄像机中利用电子束扫描把景物的光学图像转换成电信号的一种真空电子管。摄像管类别n氧化铅摄像管n具有良好的光电特性，灵敏度和分辨率高，靶面的均匀性好。n硅光导管摄像管n具备低照度下的高灵敏度性能，能跟上运动的目标而没有拖尾的现象，而且拍摄高亮度下的物体。但是分辨率较低。n固体器件摄像管n光电转换过程是在一个半导体硅片上完成的nCCD摄像机，具有体积小、重量轻、耗电少、寿命长、重合精度高等优点、黑白图像的信号产生图24 光导管摄像机图像形成ABCN图2-5 电子束的扫描方式(a)逐行扫描12345(b)隔行扫描从AB称行扫描正程；从BC称为行扫描逆程；从AN称帧扫描正程；从NA称为帧扫描逆程。 、摄像机参数的确定设电视有效画面高度为h，每个象素可以看作一个边长为a的小正方形，观看者距离电视屏的距离为s。人眼的极限分辨率为（=1），此时正好看见a高度时有：观看者对整个画面的视角为 参数计算若取s=5.5h（通常建议电视的观看距离为56倍电视画面高度），则近似10。摄像机的扫描行数Z：画面最少像素总数N：是屏幕的有效宽高比，一般为4/3 参数PAL制式规定电视画面扫描行为625，NTSC规定为525。而经图像板数字采样后，得到的是512512的方阵。图像总数被称为“图像的空间图像的空间分辨率分辨率”。帧频为f=16Hz时，人眼就可以感到画面有连续性和自然性。但此时画面亮度的突变会产生视觉上的“闪烁感”。只有在f50Hz时，这种闪烁感才消除。因此目前PAL规定f=50Hz，即每秒钟提供50幅画面；NTSC规定f=60Hz。在电视图像研究中，人眼的这种视觉特性称为“时间平均效应时间平均效应”，帧频f称为“图图像的活动分辨率像的活动分辨率”。图像“带宽”分析 设z为图像的扫描行数，k为显示屏的宽高比（4/3），则kz可以表示一行的像素数。如一行图像信号变化的次数为kz/2，则一幅图像为kz2/2，一秒钟内为fmaxPAL制式中，z=625,f=50Hz，则fmax=13MHz。这个参数可以看作图像信号的频带宽度（带宽）。 逐行扫描改成“隔行扫描”（interleaved scan），使扫描频率下降为25Hz。 、彩色图像获取n同时摄像方式n依次摄像方式（1）同时摄像方式n三管摄像机。n分光镜把被摄物体分为红、绿、蓝三种基色，n三支摄像管同时摄取红、绿、蓝三幅图像。n三基色同时摄取的方式，广播级的电视领域，高性能的氧化铅摄像管。n缺点是系统体积大，造价高。 （2）依次摄像方式n又称“时间分割方式”，按照时间的顺序依次摄取红、绿、蓝三基色。n单管彩色摄像机，只用一支彩色摄像管来完成彩色图像的光电转换，“单管机”。n优点：体积小、重量轻、制造成本低、彩色重合性好、调整维修简便等。n缺点：是灵敏度、分解力和信噪比较低n多于工业、教学和家庭、信号输出n摄像机一般有四组输出n（1）图像输出，直接接监视器，用来观察被摄对象；n（2）复合视频图像输出；n（3）复合同步信号输出；n （2）、（3）同时使用，连接到图像采集卡。n（4）用三基色RGB输出的彩色图像信号，可连接到图像采集卡。2.2.5扫描仪扫描仪原稿线阵CCDA/D及图像处理控制部分步进电机驱动去计算机长光管光源光学镜头图2-6 CCD扫描仪的系统框图采用半导体隔离CCD 采用硅氧化物隔离CCD 手持式扫描仪手持式扫描仪馈纸式扫描仪馈纸式扫描仪 鼓式扫描仪鼓式扫描仪 平台式扫描仪平台式扫描仪 :采用CCD/CIS技术 大幅面扫描仪大幅面扫描仪 底片扫描仪底片扫描仪 (胶片扫描仪 )笔式扫描仪笔式扫描仪条码扫描仪条码扫描仪实物扫描仪实物扫描仪3D扫描仪扫描仪Canon 656U采用CIS技术 扫描仪主要类型平台式扫描仪扫描仪工作原理n副扫描n扫描 扫描仪图像处理n阴影校正n解决光照不均匀的问题n背景校正n由于底稿颜色不同、字迹深浅不一，造成图像信号电平变化范围很大，这样不利于数模转换和有用信号的合理分布n分辨率处理n常采用微分电路对CCD输出的信号进行边缘增强，并用抖动电路来增强图像效果扫描仪的主要指标n分辨率n每英寸点数DPI(Dot Per Inch)，如300、600、1200DPI等。n非专业使用，300或600DPI足够n用于文字识别时，汉字至少要300DPI，而数字和字母只需要100 DPIn灰度等级n单色扫描仪的灰度级是指识别和反映像素点明暗程度的能力。每像点8bit编码，可区分256个灰度等级。n彩色扫描仪扫描图像时要对像素分色，把一个像素点分解为红(R)、绿(G)和蓝(B)三基色的组合。对每一基色的深浅程度也要用灰度级表示，这就是色彩分辨率。高档扫描仪对每一基色可识别和表达成1024(10bit)灰度，处理时一般取每色8bit，能确保1680万种颜色再现，真彩色指标n扫描速度n影响因素：扫描仪本身的设计、扫描时的解析度、计算机CPU的工作频率、扫描仪与计算机的接口方式、主机RAM的容量和扫描软件的处理能力。n接口主要有SCSI、EPP、USB等几种。n图像处理软件常采用Photo Shop 和Photo Styler等专业软件n扫描尺寸n最常见的为A4幅面的扫描仪，大型图片A3、A1或A0扫描仪n利用软件拼接实现，将大型图片分几次扫描，然后将几个画面拼接在一起。n最大扫描幅度越大，扫描仪的价格越高接口nAldus、HP、Logitech等公司在1992年共同定义了TWAIN界面，软硬件发展厂商都可以通过这个共同界面相互沟通数据扫描仪的应用n灰度扫描仪最主要的应用是OCR(光学字元识别)、黑白印刷、排版及文件档案管理。n彩色扫描仪主要应用于办公室简报、彩色排版、广告设计等。表21三种常用的图像输入设备的比较设备名称分辨率速度输入对象图像送入计算机的主要方式摄像机较低快 景物、图片、文稿通过图像采集卡扫描仪最高慢 图片、文稿等通过自带专用适配器数码相机高慢 景物、图片、文稿通过USB等串口2.2.6图像采集卡图像采集卡n对视频信号解码、数字化的专用设备 n安装在计算机中 n图像采集卡的结构决定了图像系统的硬件结构。n硬件结构主要有面向图像帧存和面向计算机内存两种方式。1、面向图像帧存的图像卡结构视频源数字化设备图像帧存微机接口微机图像显示监视器图2-7 面向图像帧存的图像硬件系统结构PCVISION图像卡视频源A/D帧存LUTD/A监视器PC存储体映射图2-8 PCVISION图像卡逻辑图美国Image Technology公司 LUT012.255Rr.012.255Gg.012.255Bb.图2-9 LUT构成（2）DT2871真彩色图像卡图210RGBRGB转换HSI帧存1帧存2帧存3帧存4HSI转换RGB图形叠加外部端口入外部端口出A/DA/DA/DRGBA/DA/DA/DI/O控制IBM PC 总线2、面向计算机内存的图像卡基本结构视频源图像数字化微机接口微机内存微机显存图2-11 一般的面向计算机内存的图像硬件系统结构图212 带硬件处理的面向计算机内存的图像硬件系统结构视频源图像数字化微机接口微机显存帧存硬件处理微机内存硬件处理常包括卷积、分割、图像加减、灰度变换等 3、视频采集卡n视频采集n将视频源的模拟信号通过处理转变成数码信息，并将这些数码信息存储在电脑硬盘上的过程。n模拟数码n采集芯片n较高档的采集卡，硬件实时数据压缩处理n通过计算机上的CPU进行软件压缩 2.3 数字图像存储设备数字图像存储设备n（1）用于处理时的短期快速存储n计算机内存，另一种是帧存n（2）关系到快速调用的在线存储n主要考虑速度，常采用磁盘n（3）大容量的档案存储n主要考虑存储容量，一般采用磁带、光盘n存储的容量以字节（B）、千字节（KB）、兆字节（MB）、吉字节（GB）、太字节（TB）为单位2.3.1图像帧存储体图像帧存储体n图像帧存储体（frame buffer 或frame store memory），简称为帧存（FB），n是指至少能存储一帧电视图像，并能按照一定的速率显示所存储图像的由半导体存储器芯片组成的存储装置。n计算机显存和图像卡上的存储数字图像的半导体缓存，都可以称为帧存。n帧存主要用于解决快速的视频数据流（如bit/100ns）和计算机慢速的数据传输速率之间的矛盾构成帧存的存储器芯片种类 nDRAM( dynamic random access memory)n整体的功耗低、体积小、价格便宜n电路复杂 nVRAM( video RAM)n图像图形系统的专用存储芯片，双端口存储芯片，标准的DRAM/SAM( serial access memory)。n构成帧存时电路简单，SAM端口，简化了与A/D、D/A高速数据流相关的读写电路n价格较贵，存储容量一般不如DRAM。构成帧存的存储器芯片种类2nSRAM( static RAM) nSRAM芯片时序简单、读写周期快n价格高、容量低、功耗大，一般不用来构成常规的帧存，而用来在高速图像系统中构成高速帧存。 2.4 数字图像处理设备数字图像处理设备n通用计算机系统有以下四类：nApple Macintoshn包括其内置的操作系统软件及用户接口；nIBM PC兼容机n使用磁盘操作系统（DOS，Microsoft Windows系列)；n图形工作站n使用UNIX操作系统，或 X WINDOWS环境；n大型计算机系统n拥有大量的资源并被许多用户通过远程工作站共享。n各系统也通过网络共享资源和数据。实时处理n系统的处理速度和图像的实际变化的速度一致nPAL制式电视图像按40ms/帧的速率变化，处理速度也应为40ms/ 帧硬件结构层次n三个层次n初级处理n中级处理n高级处理典型的初级处理系统典型的初级处理系统-DT2858外部端口输入25632bit直方图表625616bit转换表16bitALU51251216bit帧存储体外部端口输出8bit出到28518bit入自2851直方图发生器16bit帧存储体除法逻辑I/O控制IBM PC AT 总线图2-13 DT2858图像加速卡框图2.5图像输出设备图像输出设备n图像的显示方式n永久性系统，改变了记录媒体的光吸收特性，留下图像的硬拷贝，如照片、胶片、打印纸等。n暂时显示设备，在图像显示器上留下瞬间的影像，如图像监视器、投影仪等。n图像显示系统最重要的显示特性n图像的大小、光度分辨率和空间分辨率、高低频响应特性和噪声特性。2.5.1暂时显示设备暂时显示设备n电视监视器n黑白/彩色n主要指标有扫描制式、清晰度、扫描线性度、屏幕尺寸等。n扫描制式一般是是符合国际电视标准的单制式，PAL/NTSC/SECAM等，分辨率较低。监视器的输入信号形式不同n外同步方式：n输入视频信号/同步信号。n内同步方式：n输入全电视信号，而同步信号和视频信号由监视器内部电路进行分离得到。n须注意图像采集卡与显示器的兼容性问题。黑白电视信号特点n我国的，每秒传送25幅画面，每幅画面625行，采用隔行扫描方式分成两场，每场312.5行，其中25行是场消隐时间，因此每场的有效信号是287.5行。n视频带宽为6MHz，建议传输带宽也为6MHz。彩色电视制式nNTSC制n（National Television Systems Committee）n1953年，美国正式发布n色度信号，正交平衡调幅制n最先创建了兼容性同时制（携带彩色图像的亮度和色度信息的三个信号同时传送）的彩色电视，为近代彩色电视制式与技术的发展奠定了良好的基础。n主要用于美国、日本和加拿大等国电视制式2n帕尔（PAL）制n相位逐行交变（Phase Alternation Line）n联邦德国的布鲁赫，1962年n两个色差信号也采用正交平衡调幅的调制方法，其中一个色差信号调幅波（RY）逐行倒相。n主要用于西欧、澳大利亚、非洲和中东部分国家，中国也采用PAL制电视制式3n塞康（SECAM）制n顺序传送彩色和存储（Sequence de Coulenurs avec Mcmoire）的法文缩写n1956年，法国工程师亨利弗朗斯提出，1967年实用化n为克服NTSC制的色度信号本位敏感性的缺点而开发出来的。两个色差信号逐行传送，在接收端将收到的信号延迟一行，使每一行传送的色差使用两次，以补偿第一行中缺少的另一个色差信号。色差信号对副载波的调制方式为调频。nSECAM制主要用于法国、原苏联、东欧和沙特阿拉拍等国2.5.2永久显示设备永久显示设备n将图像永久记录在纸张或胶片上的设备n胶片记录器、激光打印机、喷墨打印机、热蜡转移打印机、颜料升华打印机等n“图像记录设备”或“硬拷贝设备”。n采用半调（halftone）技术，通过改变排列成规则图案的小黑点的大小来仿真多种灰度级，提高图片的质量。n另一种提高显示质量的常用技术称为“抖动”（dither）打印机打印机针式打印机激光打印机喷墨打印机热升华打印机胶片胶片照片照片幻灯片幻灯片永久显示设备永久显示设备2.6 图像处理软件图像处理软件n高级程序nC程序n本课程建议采用Matlab实现算法n提供了专门的图像输入输出函数，对图像的访问很简单。n强大的图像处理工具包，对以后的工程实践以及科研很有帮助。nPhotoshop等图像处理软件没有二次开发功能，不能用于专业领域的应用开发常见图像存储格式英文名称 类型说明Tagged image file format*.TIFDOS,UNIX 及Macintosh图像Encapsulated PostScript*.EPS出版业使用格式Graphical interchange format*.GIFCompuSever图形格式Bit-Mapped format*.BMP Microsoft Windows标准格式Macintosh *.PICTApple Macintosh 图像Presentation manager*.BMPIBM OS/2 位图格式图像文件主要特征n（1）描述图像的高度、宽度以及各种物理特征的数据；n（2）彩色定义：每点bit数(决定颜色的数量)、彩色平面数，非真彩色图像要提供一个调色板；n（3）描述图像的位图数据体：将该图像由一个数据矩阵描述出来，该矩阵的结构由图像的高、宽及每点bit数决定。如果图像采用了压缩，每行数据都用特定压缩算法压缩过，使用前需解码。