第7章 视觉传感技术 v7.1 概述 v7.1.1 生物视觉与机器视觉 v7.1.2 Marr 计算机视觉理论 v7.1.3 视觉传感技术的发展 7.1.1 生物视觉与机器视觉 所谓视觉，直观理解就是通过对环境场景（组成成分、空间 关系、质地质感等）成像，一次性得到包含大量场景信息的“ 图、像”，经过分层次处理，最终达到理解和表达的目的。 生物视觉功能建立在生物组织 、器官的基础上。环境场景通 过成像器官（眼睛）成像，视 觉神经感受到亮度信号，形成 神经脉动，进而传输至中枢神 经系统（大脑），上述路径构 成视觉通路。生物视觉系统是 一个结构复杂、功能强大、高 度智能的信息系统。 7.1.1 生物视觉与机器视觉 借助于信息处理理论、电子器件和计算机技术的进步，人们 试图用摄像机获取环境场景图像，转化为计算机处理的数字 信号，由计算机平台进行视觉信息处理，由此诞生一门新兴 学科计算机视觉。 7.1.1 生物视觉与机器视觉 出于工程应用的考虑，在计算机视觉中可以将视觉传感（信 息获取）、视觉信息处理、理解和认知等环节分开考虑，一 方面简化了类生物视觉系统复杂的相互作用体系结构，同时 便于现有计算机平台的实现。将计算机视觉用于工程应用， 产生了一门新的学科机器视觉。 7.1.2 Marr 计算机视觉理论 20世纪70年代中后期，D.Marr教授从信息处理的角度，综合了 当时图像处理、心理物理学、神经生理学及临床精神病学等方 面的研究成果，提出了一个较为完善的人工视觉系统架构。 Marr的计算视觉理论把视觉过程看作信息处理过程， 对该过程的研究分为三个不同的层次： u计算理论层次计算理论层次要回答的是计算目的与策 略问题 u表达与算法层次表达与算法层次则进一步回答如何实 现上述计算理论的问题 u 硬件实现层次硬件实现层次是回答如何物理（硬件 ）上实现上述表示表达和算法的问题 7.1.2 Marr 计算机视觉理论 Marr将视觉过程区分为三个阶段： 图像要素图2.5维图-三维表示 第一阶段，称为早期视觉，由输入二维图像获得要素图。 第二阶段，称为中期视觉，由要素图获取2.5维图。 第三阶段，称为后期视觉，由输入图像、要素图和2.5维图获得 环境场景的三维表示。 缺陷 1）物理成像过程在数学上是一个透视投影过程，深度和被视线 遮挡的信息被丢弃了，使得相同场景在不同视角下得到的二维图 像是完全不同的； 2）二维图像是依靠图像灰度（亮度）来反映视觉信息的，在成 像过程中很多无关因素都会和有用信息综合在一起生成二维图像 。 7.1.3 视觉传感技术的发展 由图像信息恢复三维场景问题 Marr的视觉计算理论是通过三维场景映射到的二维图像来研 究和感知场景三维物理结构的理论，强调的是识别和理解功 能，侧重于基本理论研究；而视觉传感则是从工程应用的角 度出发，研究定量提取三维空间内有用信息的理论和方法。 精度问题 传统的计算机视觉研究，侧重于定性的三维场景识别和理解 ，定量的精度分析很少涉及或不涉及；视觉传感测量则是以 计算机视觉为理论基础，结合精密测量、测试理论，解决工 程应用领域内的测量问题，要求在满足一定的精度前提下， 实现被测对象的可靠测量。 视觉传感与计算机视觉的区别视觉传感与计算机视觉的区别 7.1.3 视觉传感技术的发展 视觉传感应用于测量是多方面的 ，一个主要的研究领域就是基于 视觉传感的几何量测量视觉测 量，尤其是3D坐标尺寸测量， 在现代工业制造领域内有着广泛 的应用背景。 视觉像机是视觉测量的基础。视 觉像机技术一直在迅速发展，成 本不断降低，为高性能视觉测量 系统的开发和普及应用奠定了坚 实的基础。 7.1.3 视觉传感技术的发展 视觉测量的分析方法发生显著变化 I.采用多参数的非线性模型和误差补偿措施； II.将精密测量领域内的标定方法、设备和技术引入到 计算机视觉中； III.结合近景摄影测量理论和计算机视觉。 视觉测量的应用范围不断扩大 早期主要用于特定的、有非接触要求的场合；现今可以 满足绝大多数工业测量需求。 7.2 图像传感器 v7.2.1 摄像管工作原理 v7.2.2 电荷耦合摄像器件工作原理 v7.2.3 CMOS图像传感器 v7.2.4 CCD图像传感器 典型的光电摄像管包含三个基本部分，镶嵌板、集电环和电子 枪。当光线照在光电管上，电子被打出，投影在镶嵌板上的图 像将变成一幅正电荷的分布图。集电环收集光电管所放出的电 子，移出光电发像管电子枪发射电子形成电子束。电子束逐个 扫描镶嵌板上的个光电管时，便形成一系列电脉冲。 7.2.1 摄像管工作原理 7.2.2 电荷耦合摄像器件工作原理 电荷耦合器件CCD（Charge Coupled Device）传感器使用一种 高感光度的半导体材料制成，能把光信号转变成电荷信号。 当CCD表面受到光线照射时，每个感光单位会将电荷反映在 组件上；所有的感光单位所产生的信号加在一起，就构成了 一幅完整的画面。 uCCD的突出特点就是以电荷作为 信号。 uCCD的基本功能是信号电荷的产 生、存储、传输和检测(即输出)。 7.2.2 电荷耦合摄像器件工作原理 当光入射到CCD的光敏面时，便产生了光电荷。CCD在某一 时刻所获得的光电荷与前期所产生的光电荷进行累加，称为 电荷积分。入射光越强，通过电荷积分所得到的光电荷量越 大。 基本功能一 光电荷的产生 构成CCD的基本单元是MOS结构。如图7-1所示， UG=0时， P型半导体中的空穴(多数载流子)的分布是均匀的 ； UG Uth时，表面势s变得很高，形成反型层，反型层电荷 的存在表明了MOS结构存储电荷的功能。 基本功能二 电荷的存储 7.2.2 电荷耦合摄像器件工作原理 如图7-2(a)空势阱的情况。在没有反型层 时，势阱的深度和UG成正比例关系。 如图7-2(b)，当反型层电荷填充势阱时， 表面势收缩， 如图7-2(c)所示，反型层电荷浓度继续增 加，势阱被填充更多，此时表面不再束缚 多余的电子，电子将产生“溢出”现象。 7.2.2 电荷耦合摄像器件工作原理 通过按一定的时序在电极上施加高低电平，可以实现光电荷在相邻 势阱间的转移。 如图7-3来示意CCD中势 阱中电荷的转移： (a) 初始状态； (b) 电荷由(1)电极向 (2)电极转移； (c) 电荷在(1) (2)电极 下均匀分布； (d) 电荷继续由(1)电 极向(2)电极转移； (e) 电荷完全转移到(2) 电极； (f) 三相转移脉冲转移。 基本功能三 电荷的转移 7.2.2 电荷耦合摄像器件工作原理 光电荷的输出是指在光电荷转移通道 的末端，将电荷信号转换为电压或电 流信号输出，也称为光电荷的检测。 CCD电荷的检出方式还有浮置扩散输 出、浮置栅放大器输出等。其结构示 意如图7-6、图7-7所示。 基本功能四 光电荷的输出 7.2.3 CCD图像传感器 CCD图像传感器 线阵CCD 传感器 面阵CCD 传感器 单沟道线阵CCD 双沟道线阵CCD 帧转移型面阵CCD电荷耦合器件 行间转移型面阵CCD电荷耦合器件 帧-行转移型面阵CCD电荷耦合器件 7.2.3 CCD图像传感器 图7-8所示是三相单沟道线阵CCD 的结构图。光敏元阵列与转移区- 移位寄存器是分开的，移位寄存 器被遮挡。这种结构的CCD转移 次数多，效率低，只适用于像敏 元较少的摄像器件。 图7-9为双沟道线阵 CCD的结构图。 它具有两列移位寄存器A和B，分别 位于像敏阵列的两边。当转移栅为 高电平时，光积分阵列的信号电荷 包同时按箭头所示方向转移到对应 的移位寄存器中，然后在驱动 脉冲 的作用下分别向右转移，最后以视 频信号输出。 7.2.3 CCD图像传感器 帧转移型面阵CCD电荷耦合器件(FT-CCD)由成像区、存储区 和读出寄存器3个基本区域组成，由三相脉冲驱动，又称三相 驱动式面阵CCD电荷耦合器件。 优点： 电极结构简单； 较高的分辨率 和灵敏度。 缺点： 尺寸较大； 易形成光“污 染”严重时形成 垂直拖尾现象。 7.2.3 CCD图像传感器 行间转移型面阵CCD电荷耦合器件(IT-CDD)的感光行与垂直 位移寄存器相间排列，由转移栅极控制电荷的转移和输出。 优点： 结构简单，面积小； 较高的空间频率； 垂直拖尾减轻。 缺点：防止漏光，总的感 光面积减小，灵敏度 降低； 有部分入射光到达 垂直位移寄存器，形 成光污染。 7.2.3 CCD图像传感器 帧-行转移型面阵CCD电荷耦合器件(FIT-CCD)是在行间转移 型的基础上加上场存储区而构成的，其结构如图7-17所示。 优点：垂直转移速度极映 ，可有效消除光污染，使 垂直拖尾消失。 缺点：尺寸较大，材料利 用率较低。 7.2.4 CMOS图像传感器 CMOS图像传感器(CIS)由许多光敏单元组成。 根据光敏像元结构的不同，可分为光栅型和光电二极管型 。 根据敏感单元内是否具有放大功能，可分为无源像素图像 传感器（PPS）和有源像素图像传感器(APS)。 7.2.4 CMOS图像传感器 1、无源像素结构 无源像素传感器的像元结构简单，没有信号放大作用，是 由一个反向偏置的光敏二极管(MOS管或p-n结二极管)和一 个行选择开关管Tx构成。 优点：在给定的单元尺寸下，可 设计出最高的填充系数 在给定的设计填充系数下， 单元尺寸可设计得最小 可获得较高的“量子效率” 有利于提高器件的灵敏度 不足: 存在较大的固有图形噪声 列线不宜过长以减小其分 布参数的影响 7.2.4 CMOS图像传感器 2、有源像素结构 （1）光敏二极管型有源像素结构 光敏二极管型有源像素结构如图7-11，每个像元包括三个晶 体管和一个光敏二极管。 光敏面没有多晶硅层叠，光敏二 极管型APS量子效率较高； 难以设计在片相关双取样电路， 读出噪声出复位噪声限制，典型 值为75100个均方根电子。 CMOS光敏二极管型APS适宜于大 多数中低性能的应用。 7.2.4 CMOS图像传感器 2、有源像素结构 （2）光栅型有源像素结构 光栅型有源像素传感器结合了CCD和X-Y寻址的优点，其结 构如图7-12所示，每个像元采用了五个晶体管。采用0.25um 工艺将允许达到5um的像元间距。 由于可以设置CDS电路和双取 样DDS)电路，其读出噪声小，一 般为1020个均方根电子，可接 近高档CCD水平，目前已有读出 噪声为5个均方根电子的报道。 CMOS光栅型APS适用于高性能 科学成像和低光照成像。 7.2.5 CCD与CMOS图像传感器比较 与CCD图像传感器相比，CMOS图像传感器具有明 显的优势。 uCCD存储的电荷转移和读取电路较为复杂，速度较慢； CMOS信号读取十分简单，能同时处理各单元的图像信息 ，速度比CCD快得多。 uCCD器件的成像点为X-Y纵横矩阵排列且仅能输出模拟电 信号；CMOS器件的集成度高、体积小、重量轻 ，具有高 度系统整合的条件。 u从功耗和兼容性来看，CCD功耗大；而CMOS-APS具有功 耗低、兼容性好的特点。 uCCD传感器成本高；CMOS传感器成品率高，制造成本低。 uCMOS-APS比CCD图像质量高。 u高速性是CMOS电路的固有特性。CMOS图像传感器具有 更强的灵活性 7.2.5 CCD与CMOS图像传感器比较 7.3 3D视觉传感技术 v7.3.1 3D视觉传感原理 v7.3.2 摄像机模型及结构参数标定技术 v7.3.3 结构光视觉传感器 v7.3.4 双目视觉传感器 v7.3.5 组合视觉测量系统 7.3.1 3D视觉传感原理 u3D视觉传感是指采用一个或多个图象传感器 （摄像机等）作为传感元件，在特定的结构设 计的支持下，综合利用其它辅助信息，实现对 被测物体的尺寸及空间位姿的三维非接触测量 。 u基于三角法的主动和被动视觉测量原理具有 抗