机器视觉系统原机器视觉系统原理及根底知识理及根底知识主讲人：主讲人：主讲人：主讲人： 王亚鹏王亚鹏王亚鹏王亚鹏2005.102005.102005.102005.10中国大恒集团北京图像视觉技术分公司中国大恒集团北京图像视觉技术分公司中国大恒集团北京图像视觉技术分公司中国大恒集团北京图像视觉技术分公司机器视觉系统根本原理机器视觉系统根本原理照明光源照明光源镜头镜头工业摄像机工业摄像机图像采集图像采集/ /处置卡处置卡图像处置系统图像处置系统 第第1章章 机器视觉系统根本原理机器视觉系统根本原理1.1 机器视觉系统的原理机器视觉系统的原理 1.2 机机器器视视觉觉系系统统与与人人的的视视觉觉的的对比对比1.3 机器视觉系统的构成机器视觉系统的构成1.1 1.1 机器视觉系统的原理机器视觉系统的原理n n 机器视觉系统的目的就是给机器或自动消费线添加一套视觉系统，其原理是由计算机或图像处置器以及相关设备来模拟人的视觉行为，完成得到人的视觉系统所得到的信息。人的视觉系统是由眼球、神经系统及大脑的视觉中枢构成，计算机视觉系统那么是由图像采集系统、图像处置系统及信息综合分析处置系统构成。 1.1 1.1 机器视觉系统的原理机器视觉系统的原理n n图像处置技术图像处置技术n n彩色图像转换技术彩色图像转换技术n n图像分割技术图像分割技术n n方式识别技术方式识别技术n n数学形状学方法数学形状学方法n n专家系统及人工智能技术专家系统及人工智能技术n n视觉神经网络技术视觉神经网络技术n n小波分析技术小波分析技术n n分形学方法分形学方法1.2 机器视觉系统与人的视觉的对比机器视觉系统与人的视觉的对比人类视觉机器视觉顺应性顺应性强，可在复杂及变化的环境中识别目的顺应性差，容易受复杂背景及环境变化的影响智能具有高级智能，可运用逻辑分析及推理才干识别变化的目的，并能总结规律虽然可利用人工智能及神经网络技术，但智能很差，不能很好地识别变化的目的彩色识别才干对颜色的分辨才干强，但容易受人的心思影响，不能量化受硬件条件的制约，目前普通的图像采集系统对颜色的分辨才干较差，但具有可量化的优点灰度分辨力差，普通只能分辨64个灰度级强，目前普通运用256灰度级，采集系统可具有10bit、12bit、16bit等灰度级空间分辨力分辨率较差，不能观看微小的目的目前有4K4K的面阵摄像机和8K的线阵摄像机，经过备置各种光学镜头，可以观测小到微米大到天体的目的速度0.1秒的视觉暂留使人眼无法看清较快速运动的目的快门时间可到达10微妙左右，高速像机帧率可到达1000以上，处置器的速度越来越快感光范围400nm-750nm范围的可见光从紫外到红外的较宽光谱范围，另外有X光等特殊摄像机环境要求对环境温度、湿度的顺应性差，另外有许多场所对人有损害对环境顺应性强，另外可加防护安装观测精度精度低，无法量化精度高，可到微米级，易量化其它客观性，受心思影响，易疲劳客观性，可延续任务1.3 机器视觉系统的构成机器视觉系统的构成1.1.1.1.照明光源照明光源2.2.2.2.镜头镜头3.3.3.3.工业摄像机工业摄像机4.4.4.4.图像采集图像采集/ /处置卡处置卡5.5.5.5.图像处置系统图像处置系统6.6.6.6.其它外部设备其它外部设备第2章 照明光源2. 照明光源 在我国国家在我国国家规规范范GB 5698GB 56988585中，中，颜颜色定色定义义为为：“ “色是光作用于人眼引起除色是光作用于人眼引起除笼统笼统以外的以外的视觉视觉特特性。既：性。既：颜颜色是一种光学景象，是光刺激人眼色是一种光学景象，是光刺激人眼的的结结果，有光才有色。彩色也是一种心思果，有光才有色。彩色也是一种心思觉觉得，得，它与照明光源的它与照明光源的辐辐射才干分布及射才干分布及观观看者的看者的视觉视觉生生理构造有关。人眼可以感知的光理构造有关。人眼可以感知的光谱谱范范围为围为380nm-780nm380nm-780nm，但人感知一个物体的，但人感知一个物体的颜颜色普通色普通是指在日光照明的是指在日光照明的环环境下所境下所显显示的示的颜颜色，色，对对于同于同一物体在不同光一物体在不同光线线的照射下人会的照射下人会觉觉得到不同的得到不同的颜颜色，可色，可见见光源光源对对于正确于正确认认知物体的知物体的颜颜色是至关重色是至关重要的。要的。2. 照明光源 简单视功能原理：人眼视网膜里存在着大量光敏细胞，按其外形可分为杆状和锥状两种。杆状光敏细胞的灵敏度极高，主要靠它在低照度时区清楚暗，但它对彩色是不敏感的；而锥状细胞既可区清楚暗，也可区分彩色。白天的视觉过程主要靠锥状细胞来完成，夜晚视觉那么由杆状细胞起作用。所以在较暗处无法区分彩色。 2. 照明光源三原色学说：该学说以为在视网膜上分布有三种不同的视锥细胞，分别含有对红(700nm)、绿(546.1nm)、蓝(435.8nm)三种光敏感的视色素；当某一定波长的光线作用于视网膜时，以一定的比例使三种视锥细胞分别产生不同程度的兴奋，这样的信息传至中枢，就产生某一种颜色的觉得。 2. 照明光源所以，当我们用某光源照明时，假设光源只发出三条人眼最敏感的谱线，即：蓝、绿、红。这样似乎是到达了人眼对照明的需求和防止了人眼无法觉察和有害射线对人眼视力的影响。但我们由前面提到的，物体只能反射和透射与该物体颜色一样的光线，因此上面我们假设的光源的显色性一定是很差的。 2. 照明光源主要参数n n光源的光谱分布：n n对于颜色检测的运用，应选择与日光接近的光源，光谱要宽，而且延续。光源照射在物体上，物体所产生的颜色效果要客观、真实，既光源的显色性好。其它场所可运用各种单色光和特殊光源。2. 照明光源主要参数n n色温，单位是开尔文K：当光源所发出的光的颜色与“黑体在某一温度下辐射的颜色一样时，“黑体的温度就称为该光源的色温。“黑体的温度越高，光谱中蓝色的成分那么越多，而红色的成分那么越少。例如：白炽灯的光色是暖白色，其色温为2700K左右，而日光色荧光灯的色温那么是6400K左右。白炽灯的色温普通在2700K左右、日光灯的色温在2700-6400K左右、钠灯的色温在2000K左右2. 照明光源主要参数n n照度：单位被照面上接纳到的光通量称为照度。假设每平方米被照面上接纳到的光通量为1lm，那么照度为1(lx)。单位：勒克斯lx或Lux。1勒克斯lx相当于每平方米被照面上光通量为1流明lm时的照度。在高速运动条件下拍摄图像，曝光时间很短，只需高亮度的光源才干得到足够亮度的图像。n n夏日阳光下 100000Lux n n阴天室外 10000Luxn n电视台演播室 1000Lux n n距60W台灯60cm桌面 300Luxn n室内日光灯 100Lux n n傍晚室内 10Luxn n20cm处烛光 10-15Lux n n晴朗的月夜地面照度约0.2 lx2. 照明光源主要参数n n寿命。光源的半衰期要长，且在半衰期内，光谱稳定，亮度衰减小。n n发热特性。光源的任务温度要低，防止高温损坏被检测物。n n信噪比高，抗干扰才干强。n n闪烁频率，交流、直流。n n外形尺寸，便于安装。2. 照明光源分类n n按照射方式可分为四大类按照射方式可分为四大类:n n背向照明背向照明n n前向照明前向照明n n构造光构造光n n频闪照明。频闪照明。n n各种照明方式：平面照明、环形光源、各种照明方式：平面照明、环形光源、同轴光源、平行光源、点光源、低角度光同轴光源、平行光源、点光源、低角度光源、线光源、光栅；源、线光源、光栅； 2. 照明光源分类热辐射光源白炽灯、卤钨灯气体放电光源荧光灯、钠灯、氢灯、氙灯、金属卤化物灯、空心阴极灯、汞灯、高压汞灯、超高压汞灯 固体放电光源发光二极管、空心阴极灯激光器气体激光器、固体激光器、半导体激光器、染料激光器2. 照明光源光纤照明光纤照明系统：可弯曲的光纤束公用镜头光纤照明系统：可弯曲的光纤束公用镜头点照明点照明线照明线照明环形照明环形照明第3章 镜头3. 镜头影响图像质量的要素 图像质量的参数影响图像质量的要素分辨力Resolution，指能分清楚物体的才干，单位LP/mmLine pairs/Milimeter镜头 摄像机图像采集卡 显示器对比度Contrast镜头 照明光源 摄像机景深Depth of Field，指镜头当物体在对焦明晰范围内，维持一定质量的才干镜头失真Distortion，也叫畸变镜头投影误差镜头3. 镜头机器视觉系统的根本光学参数：机器视觉系统的根本光学参数：视场角视场角任务间隔任务间隔分辨率分辨率景深景深3. 镜头镜头的理想模型 薄透镜模型，薄透镜是指透镜没有厚度，当然这种透镜是不存在的，而且我们普通用的镜头都是多组镜片组合在一同的。我们通常运用中会忽略厚度对透镜的影响，在去除透镜参数中的厚度后，可简化许多光学计算公式。3. 镜头镜头的理想模型 3. 镜头镜头的理想模型 两个重要公式：1/f = 1/S1 + 1/S2 S1f *( H/h+1)3. 镜头有关镜头的根本概念 3. 镜头有关镜头的根本概念n n焦距焦距F F：n n视场角：视场角：n n物距：物距：n n像距：像距：n n光圈：普通用口径系数光圈：普通用口径系数f f表示，指镜头口径与焦距之比，表示，指镜头口径与焦距之比，f/2.8f/2.8即指即指1:2.81:2.8n n景深景深DOFDOF：在焦点前后各有一个允许弥散圆，这两个弥散圆之间：在焦点前后各有一个允许弥散圆，这两个弥散圆之间的间隔就叫景深，即：在被摄主体的间隔就叫景深，即：在被摄主体( (对焦点对焦点) )前后，其影像依然有一段前后，其影像依然有一段明晰范围的，就是景深。明晰范围的，就是景深。n n分辨力：指能分清楚物体的才干，单位分辨力：指能分清楚物体的才干，单位LP/mmLP/mmLine Line pairs/Milimeterpairs/Milimetern n快门，决议曝光时间快门，决议曝光时间n n数值孔径，数值孔径，Numerical Aperture (NA) Numerical Aperture (NA) n n根本放大倍数根本放大倍数( (光学放大倍数，光学放大倍数，Primary Magnification (PMAG)Primary Magnification (PMAG)n n调制传送函数调制传送函数MTFMTF，MTFMTF好的镜头有利于低对比度景物的再现，好的镜头有利于低对比度景物的再现，拍出的图像层次丰富、细节明显、质感细腻。拍出的图像层次丰富、细节明显、质感细腻。n n畸变：也叫失真畸变：也叫失真 3. 镜头有关镜头的根本概念3. 镜头有关镜头的根本概念3. 镜头常见光学镜头的种类 n n按光学放大倍率及焦距划分按光学放大倍率及焦距划分按光学放大倍率及焦距划分按光学放大倍率及焦距划分n n显微镜：显微镜：显微镜：显微镜： 体视显微镜、生物显微镜、金相显微镜、丈量显微镜体视显微镜、生物显微镜、金相显微镜、丈量显微镜体视显微镜、生物显微镜、金相显微镜、丈量显微镜体视显微镜、生物显微镜、金相显微镜、丈量显微镜n n常规镜头：常规镜头：常规镜头：常规镜头： n n鱼眼镜头：鱼眼镜头：鱼眼镜头：鱼眼镜头：6-16mm6-16mmn n超广角：超广角：超广角：超广角：17-21mm17-21mmn n广角：广角：广角：广角：24-35mm24-35mmn n标头：标头：标头：标头：45-75mm45-75mmn n长焦：长焦：长焦：长焦：150-300mm150-300mmn n超长焦：超长焦：超长焦：超长焦：300mm300mm以上以上以上以上n n特殊镜头：特殊镜头：特殊镜头：特殊镜头：n n微距镜头微距镜头微距镜头微距镜头n n远距镜头远距镜头远距镜头远距镜头n n远心镜头远心镜头远心镜头远心镜头n n红外镜头红外镜头红外镜头红外镜头n n紫外镜头紫外镜头紫外镜头紫外镜头3. 镜头常见光学镜头的种类按其它性能划分按其它性能划分按其它性能划分按其它性能划分固定焦距镜头固定焦距镜头固定焦距镜头固定焦距镜头变焦镜头变焦镜头变焦镜头变焦镜头自动变焦自动变焦自动变焦自动变焦手动变焦手动变焦手动变焦手动变焦不同接口方式的镜头不同接口方式的镜头不同接口方式的镜头不同接口方式的镜头C C接口后截距接口后截距接口后截距接口后截距17.526mm17.526mmCSCS接口后截距接口后截距接口后截距接口后截距12.5mm12.5mmF F接口尼康口接口尼康口接口尼康口接口尼康口M42M42其它：哈苏、徕卡、其它：哈苏、徕卡、其它：哈苏、徕卡、其它：哈苏、徕卡、AKAK3. 镜头各种镜头常用配件n n近拍接圈近拍接圈n n偏振镜偏振镜n n滤色片滤色片n nUVUV镜镜n n雷登镜雷登镜n n增温镜增温镜n n各色滤镜各色滤镜n n带通滤镜带通滤镜n n增倍镜增倍镜n n分光镜分光镜n n棱镜棱镜第4章 工业摄像机4. 工业摄像机按不同芯片按不同芯片类类型划分：型划分：CCDCCD摄摄像机，像机，CCDCCD称称为电为电荷耦合器件，荷耦合器件，CCDCCD实实践上践上只是一个把从只是一个把从图图像半像半导导体中出来的体中出来的电电子有子有组织组织地地储储存起来的方法。存起来的方法。CMOSCMOS摄摄像机，像机，CMOSCMOS称称为为“ “互互补补金属氧化物半金属氧化物半导导体体，CMOSCMOS实实践上只是将晶体管放在硅践上只是将晶体管放在硅块块上的技上的技术术，没有更多的含，没有更多的含义义。CMOSCMOS可以将光敏元件、可以将光敏元件、放大器、放大器、A/DA/D转换转换器、存器、存储储器、数字信号器、数字信号处处置器置器和和计计算机接口控制算机接口控制电电路集成在一路集成在一块块硅片上，具有硅片上，具有构造构造简单简单、处处置功能多、速度快、耗置功能多、速度快、耗电电低、本低、本钱钱低等特点。低等特点。 4. 工业摄像机但是不论CCD或者CMOS对于图像感应都没有用，真正感应的传感器称做“图像半导体，CCD和CMOS传感器实践运用的都是同一种传感器“图像半导体，图像半导体是一个P N结合半导体，可以转换光线的光子爆炸结合处成为成比例数量的电子。电子的数量被计算信号的电压，光线进入图像半导体得越多，电子产生的也越多，从传感器输出的电压也越高。 4. 工业摄像机n nCMOS摄像机存在成像质量差、像敏单元尺寸小、填充率低等问题，1989年后出现了“有源像敏单元构造，不仅有光敏元件和像敏单元的寻址开关，而且还有信号放大和处置等电路，提高了光电灵敏度、减小了噪声，扩展了动态范围，使得一些参数与CCD摄像机相近，而在功能、功耗、尺寸和价钱方面要优于CCD，逐渐得到广泛的运用。4. 工业摄像机按输出图像信号格式划分按输出图像信号格式划分模拟摄像机模拟摄像机PALPAL黑白为黑白为CCIRCCIR，中国，中国，625625行，行，5050场场 NTSCNTSC黑白为黑白为EIAEIA，日本，日本，525525行，行，6060场场 SECAMSECAMS-VIDEOS-VIDEO分量传输分量传输数字摄像机数字摄像机IEEE4IEEE4USB2.0USB2.0DCOM3DCOM3RS-644 LVDSRS-644 LVDSChannel Link Channel Link Camera LinkCamera Link千兆网千兆网4. 工业摄像机按像素陈列方式划分面阵摄像机黑白摄像机采用BAYER转化的单片相机3CCD彩色摄像机分光棱镜线阵摄像机黑白摄像机3Line彩色摄像机3CCD彩色摄像机分光棱镜4.工业摄像机3CCD4.工业摄像机3Line CCD4.工业摄像机BAYER转换4. 工业摄像机主要参数n n分辨率n n帧率/行频n n成像灵敏度n n靶面尺寸n n快门速度n n光谱呼应特性n n白平衡n n外同步与外触发第第5 5章章 图像采集图像采集/ /处置卡处置卡 5. 图像采集图像采集/处置卡处置卡 5.1图像采集卡的主要功能：A/D转换图像传输图像采集控制图像处置FPGA、DSP5. 图像采集图像采集/处置卡处置卡n n模拟量图像采集卡:n n规范视频信号采集: PAL、NTSCn n非规范视频信号采集n n数字量图像采集卡n nIEEE4卡n nRS-644 LVDSn nChannel Link LVDSn nCamera Link LVDSn n千兆网图像传输卡/传输器第第6 6章章 图像处置系统图像处置系统6. 图像处置系统图像处置系统 图像处置系统或计算机的作用是执行图像处置及分析软件，调用根据检测功能所特殊设计的一系列图像处置及分析算法模块，对图像数据进展复杂的计算和处置，最终得到系统设计所需求的信息，然后经过与之相衔接的外部设备以各种方式输出检测结果及呼应。其外部输出设备可以包括显示器、网络、打印机、报警器及各种控制信号。6. 图像处置系统图像处置系统n n嵌入式图像处置系统： DSP、 FPGA、CPUn n基于PC的视觉系统：构造及功能复杂，可多路并行处置。n n小型机器视觉系统：构造简单，稳定性好，开发周期长。n n可二次开发的视觉系统：PPT、DVT、VC、Halcon等机器视觉及图像处置常用算法：n n滤波平滑、降噪滤波平滑、降噪n n加强加强n n边缘锐化边缘锐化n n纹理分析去骨架、连通性纹理分析去骨架、连通性n n图像分割，灰度、颜色、频谱特征、纹理特征、空间特征；图像分割，灰度、颜色、频谱特征、纹理特征、空间特征；n n变换变换( (空域和频域、几何变换、色度变换空域和频域、几何变换、色度变换n n几何形状分析几何形状分析BlobBlob分析，外形、边缘、长度、面积、分析，外形、边缘、长度、面积、圆形度位置、方向、数量、连通性等圆形度位置、方向、数量、连通性等n n搜索匹配搜索匹配n n文字识别文字识别OCROCR，印刷质量，印刷质量OCVOCVn n颜色分析色度、色密度、光谱、自动白平衡颜色分析色度、色密度、光谱、自动白平衡n n3 3维丈量维丈量