机器视觉Machine Vision主讲教师：周大可Office: 智能楼611Email: dkzhounuaa.edu.cn Mobile：135 8520 1465模式识别与智能系统教研组Date1北京邮电大学自动化学院参考教材： 机器视觉，贾云得著，科学出版社，2000参考书目：1、图像处理、分析与机器视觉（第二版）M.Sonka,V.Hlavac,R.Boyle著，艾海舟等译，人民邮电出版社，20032、机器视觉教程W.E.Snyder,H.Qi著林学訚等译，机械工业出版社，20053、计算机视觉马颂德著，科学出版社，1999课程教材Date2北京邮电大学自动化学院 上课上课 20%20%& 大作业大作业 20%20%? 考试考试 60%60%成绩计算成绩：大作业：大作业： 研究报告或综述 15周周三（6月4号）提交计划 18周周一（6月23号）提交报告 Date3北京邮电大学自动化学院第一章 引 论Chap1 引论讲解内容1.1.机器视觉的研究内容、特点及其应用。机器视觉的研究内容、特点及其应用。 2.2.基础理论（基础理论（ MarrMarr视觉计算、成像几何基础视觉计算、成像几何基础 ）；）；3.3.课程学习内容。课程学习内容。 目的1. 1. 了解机器视觉的主要内容及相关知识，熟了解机器视觉的主要内容及相关知识，熟 悉机器视觉与其他学科的关系；悉机器视觉与其他学科的关系；2. 2. 重点掌握重点掌握MarrMarr视觉计算理论及成像几何基视觉计算理论及成像几何基 础理论。础理论。Date4北京邮电大学自动化学院1. 1机器视觉机器视觉：用计算机来模拟生物视觉功能的科学和技术。 机器视觉系统的首要目标是利用图像创建或恢复现实世界 模型，然后认知现实世界。 从二维图象恢复三维信息； 从原始图像数值描述产生语义描述。1.1.1 基本概念机器视觉是信息科学领域的一个重大挑战性问题： Jim Gray列出的12大信息科学问题之一:See as well as a person. Bill Gates：The future of computing is to make computers see, hear, speak and learn.Date5北京邮电大学自动化学院一、输入设备(input device)包括成像设备和 数字化设备成象设备是指通过光学摄像机或红外、激光 、超声、X射线对周围场景或物体进行探测成象，得到关 于场景或物体的二维或三维数字化图像。二、低层视觉(low level)主要是对输入的原始 图像进行处理这一过程借用了大量的图像处理技术和算 法，如图像滤波、图像增强、边缘检测等，以便从图像中 抽取诸如角点、边缘、线条、边界以及色彩等关于场景的 基本特征；这一过程还包含了各种图像变换（如校正）、 图像纹理检测、图像运动检测等。1. 1机器视觉 1.1.2 研究内容Date6北京邮电大学自动化学院三、中层视觉（middle level）主要任务是 恢复场景的深度、表面法线方向、轮廓等有关场景的25 维信息，实现的途径有立体视觉（stereo vision）、测距 成像（rangefinder）运动估计（motion estimation）、 明暗特征、纹理特征等. 系统标定、系统成像模型等研究 内容一般也是在这个层次上进行的四、高层视觉（high level）主要任务是在以 物体为中心的坐标系中，在原始输入图像、图像基本特征 、25维图的基础上，恢复物体的完整三维图，建立物体 三维描述，识别三维物体并确定物体的位置和方向五、体系结构（system architecture）1. 1机器视觉Date7北京邮电大学自动化学院 20世纪50年代归入模式识别-主要集中在二维图像分析和 识别上，如光学字符识别，工件表面、显微图片和航空图片的 分析和解释等。 60年代，Roberts积木世界理论-开创了以理解三维场景 为目的的三维计算机视觉的研究。70年代，Marr计算视觉理论-第一个较为完善的视觉系统 框架，分三个层次进行处理。 80年代以后，蓬勃发展-新概念、新方法、新理论不断涌 现，如基于感知特征群的物体识别理论框架，主动视觉理论框 架，视觉集成理论框架等。1. 1机器视觉 1.1.3 发展概况Date8北京邮电大学自动化学院（1）图像多义性（2）环境因素影响（3）知识导引（4）大量数据1. 1机器视觉1.1.4 研究面临的困难Date9北京邮电大学自动化学院主要期刊和会议1. 1机器视觉 IEEE T-PAMI, IJCV, IEEE T-Image Processing, Pattern Recognition, Computer Vision and Image Understanding, Image and Vision Computing, PR Letters, ICCV, CVPR, ICPR, ICIP, ECCV, ACCV, BMVC, MVA, 自动化学报、计算机学报、软件学报、电子学报 、中国图像图形学报、模式识别与人工智能、Date10北京邮电大学自动化学院1.2 Marr视觉计算理论 MIT的David Marr在70年代末提出了第一个较为 完善的视觉系统框架； 该框架立足于计算机科学，系统地概括了心理生 理学、神经生理学等方面取得的所有重要成果； 该框架尽管存在很多缺陷，但过去20多年一直处 于主导地位。D.Marr, Vision, 1982. 中译本：视觉计算理论，姚国正、刘磊、 汪云九译，科学出版社，1988。Date11北京邮电大学自动化学院1.2.1 三个层次视觉信息处理系统分为三个层次：Date12北京邮电大学自动化学院1.2.2 视觉表示框架 第一阶段(也称为早期阶段)：将输入的原始图像进行处 理，抽取图像中诸如角点、边缘、纹理、线条、边界等基 本特征，这些特征的集合称为基元图(primitive sketch) ； 第二阶段(中期阶段)：指在以观测者为中心的坐标系中 ，由输入图像和基元图恢复场景可见部分的深度、法线方 向、轮廓等，这些信息的包含了深度信息，但不是真正的 物体三维表示，因此，称为二维半图(25 dimensional sketch)； 第三阶段(后期阶段)：在以物体为中心的坐标系中，由 输入图像、基元图、二维半图来恢复、表示和识别三维物 体。Date13北京邮电大学自动化学院表1-2 由图像恢复形状信息的表示框架名 称目 的基 元图像光强表示图像中每一点的强度值 基元图表示二维图像中的重要信息 ，主要是图像中的强度变化 位置及其几何分布和组织结 构零交叉，斑点，端点和不连续 点，边缘片断，有效线段，组 合群，曲线组织 ，边界 25维图在以观测者为中心的坐标系 中，表示可见表面的方向、深 度值和不连续的轮廓局部表面朝向(“针”基元) 离观测者的距离 深度上的不连续点 表面朝向的不连续点 3维模型表示在以物体为中心的坐标系中 ，用由体积基元和面积基元 构成的模块化多层次表示， 描述形状及其空间组织 形式 分层次组成若干三维模型，每 个三维模型都是在几个轴线空 间的基础上构成的，所有体积 基元或面积形状基元都附着在 轴线上1.2.2 视觉表示框架Date14北京邮电大学自动化学院 视觉处理框架基本上是自下而上，没有反馈； 没有足够地重视知识的应用。基于感知特征群的物体识别理论框架，主动视觉 理论框架，视觉集成理论框架等等。1.2 Marr视觉计算理论Marr理论的不足Date15北京邮电大学自动化学院1基于视觉感知与认知机理的图像分析与识别系统研究目标：突破基于人类视觉感知与认知机理的图像处理模型、 关键技术和算法，建立个性化、高准确度的图像分析 与识别系统。 研究内容：分层交互的统计视觉计算模型与推理，基于感知整 合机制的视觉模式识别技术，具有选择性注意机制的 视觉信息搜索与多目标跟踪模型 。863计划信息技术领域2006年度专题课题申请指南目标导向类课题 ：Date16北京邮电大学自动化学院2复杂应用环境下的生物特征识别系统研究目标：突破安全便捷的、高可靠性的多生物特征获取及识别算法，建立面向典型应用的生物特征识别与认证原型系统。 研究内容：脸相、虹膜、掌纹等多生物特征获取技术，大规模 生物特征库的分类和检索，具有鲁棒性的生物特征识别关键技术，面向实际应用需求的多种生物特征的融 合技术等。863计划信息技术领域2006年度专题课题申请指南目标导向类课题 ：Date17北京邮电大学自动化学院1.3 机器视觉的应用 零件识别与定位 产品检验 移动机器人导航 遥感图像分析 医学图像分析 安全、监控与跟踪 国防系统 其它（动画、体育、考古）应用领域Date18北京邮电大学自动化学院Sojourner 火星车前部图，中部的两个小突 出是两个黑白CCD摄像机1.3 机器视觉的应用Date19北京邮电大学自动化学院Sojourner视觉系统获取的立体图象对障碍物探测示意图Sojourner视觉系统对场景的深度恢复 1.3 机器视觉的应用Date20北京邮电大学自动化学院人脸跟踪演示1.3 机器视觉的应用Date21北京邮电大学自动化学院MIT Media Lab ，与虚拟生物交互演示1.3 机器视觉的应用Date22北京邮电大学自动化学院（基于图象序列的）五角大楼三维重建1.3 机器视觉的应用Date23北京邮电大学自动化学院三维人脸重建1.3 机器视觉的应用Date24北京邮电大学自动化学院视觉系统坐标系n像素坐标：表示图像阵列中图像像素的位置； n图像平面坐标：表示场景点在图像平面上的投 影； n摄象机坐标：即以观察者为中心的坐标，将场 景点表示成以观察者为中心的数据形式 n场景坐标：也称作绝对坐标(或世界坐标)，用于 表示场景点的绝对坐标；Date25北京邮电大学自动化学院1.4 机器视觉与其它学科关系机器视觉VS图像处理 图像处理(Image Processing)：实现从输入 图像到另一种图像的转换 图像处理：人是最终的解释者 机器视觉：计算机是图像的解释者 机器视觉系统需要图像处理模块Date26北京邮电大学自动化学院1.4 机器视觉与其它学科关系机器视觉VS计算机图形学 计算机图形学：从三维描述到二维图像显示 机器视觉：从二维图像数据到三维描述 在一定意义上讲，计算机视觉是计算机图形 学的逆问题 两者从最初相互独立的平行发展到最近的融合是一大趋势Date27北京邮电大学自动化学院1.4 机器视觉与其它学科关系机器视觉VS模式识别 模式识别：研究各类模式的分类，其中模 式可以有不同的物理意义和表现形式 图像模式的分类是计算机视觉中的一个重 要问题 模式识别中的许多方法可以应用于计算机 视觉中Date28北京邮电大学自动化学院1.4 机器视觉与其它学科关系机器视觉VS人工智能 人工智能：主要研究智能系统的设计和有关智能的计算理论与方法 AI may be considered as having three stages:perception,cognition and action 计算机视觉经常被视为AI的一个分支Date29北京邮电大学自动化学院图1.6 透视投影倒立成像几何示意图 1.5 成像几何基础1.5.1 透视投影Date30北京邮电大学自动化学院图1.7 透视投影几何示意图1.5.1 透视投影Date31北京邮电大学自动化学院图 1.8 正交投影几何示意图1.5.2 正交投影1.5.2 正交投影Date32北京邮电大学自动化学院1.5.3 视觉系统坐标系 像素坐标：表示图像阵列中图像像素的位置； 图像平面坐标：表示场景点在图像平面上的投影； 摄象机坐标：即以观察者为中心的坐标，将场 景