计算机视觉计算机视觉 computer visioncomputer vision中国科学技中国科学技术大学大学 自自动化系化系主主讲： 曹洋曹洋forrestustc.edu.cn办公室：科技楼西楼公室：科技楼西楼303使用教材：Richard Szeliski， Computer Vision: Algorithms and Applications，Springer，2010参考教材：David David A. A. Forsyth, Forsyth, Jean Jean PoncePonce著著，计计算算机机视视觉觉（一一种种现现代方法），电子工业出版社代方法），电子工业出版社 20042004。课程主页： 课程教材：待定课程设置课程设置：计计算算机机视视觉觉视觉基础视觉基础底层处理底层处理中层处理中层处理高层处理高层处理视觉基础理论：视觉基础理论： 神经生理学、认知科学；神经生理学、认知科学； 色度学、光学；色度学、光学； 射影几何、矩阵理论。射影几何、矩阵理论。图像处理：图像处理： 空域图像处理；空域图像处理； 频域图像处理；频域图像处理； 图像特征提取。图像特征提取。 图像分割；图像分割； 相机标定；相机标定； 深度估计；深度估计； 运动估计。运动估计。 三维重建；三维重建； 目标识别。目标识别。 ScheduleScheduleWeek 1 Week 1 (2.27(2.27，3.2)3.2)绪论绪论 (5 lectures) (5 lectures)视觉基本特性视觉基本特性I I生物特性生物特性Week 2Week 2（3.63.6，3.93.9）视觉基本特性视觉基本特性II II物理特性物理特性 (5 lectures) (5 lectures)视觉基本特性视觉基本特性IIIIII几何特性几何特性Week 3Week 3（3.133.13，3.163.16）图像处理基础图像处理基础I I空域处理空域处理 (5 lectures) (5 lectures)图像处理基础图像处理基础II II频域处理频域处理Week 4Week 4（3.203.20，3.233.23）特征提取特征提取I I点特征点特征 (5 lectures) (5 lectures)特征提取特征提取II II边缘及线特征边缘及线特征Week 5Week 5（3.273.27，3.303.30）图像分割图像分割I I主动轮廓线主动轮廓线(5 lectures)(5 lectures)图像分割图像分割II IIMean shiftMean shiftWeek 6Week 6（4.34.3，4.84.8）图像对准图像对准(5 lectures)(5 lectures)摄像机标定摄像机标定Week 7Week 7（4.104.10，4.134.13）单幅图像深度估单幅图像深度估计计 I I(5 lectures)(5 lectures)单幅图像深度估单幅图像深度估计计 II IIWeek 8Week 8（4.174.17，4.204.20）运动估计深度运动估计深度I I(5 lectures)(5 lectures)运动估计深度运动估计深度II IIScheduleSchedule4.174.17(3 lectures)(3 lectures)图像分割图像分割I I主动轮廓线主动轮廓线4.19 4.19 (2 lectures)(2 lectures)图像分割图像分割II IIMean shiftMean shift4.244.24(3 lectures)(3 lectures)图像对准图像对准4.264.26(2 lectures)(2 lectures)摄像机标定摄像机标定5.15.1(3 lectures)(3 lectures)劳动节放假劳动节放假5.35.3(2 lectures)(2 lectures)运动估计运动估计 I I5.85.8(3 lectures)(3 lectures)运动估计运动估计 II II5.105.10(2 lectures)(2 lectures)稠密运动估计稠密运动估计光流光流ScheduleSchedule3.203.20 (3 lectures) (3 lectures)引言引言3.223.22 (2 lectures) (2 lectures)视觉基本特性视觉基本特性I I生物特性生物特性3.273.27 (3 lectures) (3 lectures)视觉基本特性视觉基本特性II II物理特性物理特性3.293.29 (2 lectures) (2 lectures)视觉基本特性视觉基本特性IIIIII几何特性几何特性4.34.3 (3 lectures) (3 lectures)图像处理基础图像处理基础I I空域处理空域处理4.54.5 (2 lectures) (2 lectures)图像处理基础图像处理基础II II频域处理频域处理4.10 4.10 (3 lectures)(3 lectures)特征提取特征提取I I点特征点特征4.124.12 (2 lectures) (2 lectures)特征提取特征提取II II边缘及线特征边缘及线特征Week 9Week 9（4.244.24，4.274.27）立体视觉深度估立体视觉深度估计计(5 lectures)(5 lectures)测距成像系统测距成像系统Week 10Week 10（5.1 5.1 ，5.45.4）劳动节放假劳动节放假(5 lectures)(5 lectures)三维重建三维重建I IWeek 11Week 11（5.8 5.8 ，5.115.11）三维重建三维重建II II(5 lectures)(5 lectures)目标识别目标识别 I IWeek 12Week 12（5.155.15，5.18 5.18 ）目标识别目标识别 II II(5 lectures)(5 lectures)布置作业布置作业考核方式阅读报告：两人一组，从30篇计算机视觉的经典文献中挑选一篇阅读，并提交一份阅读报告及PPT。项目报告：2-4人一组，从五个候选项目中任选一个，实现并提交项目报告以及源代码。第一章第一章 绪论绪论视觉计算机智能机器：能智能机器：能够模模拟人人类的功能，感知外部世界并的功能，感知外部世界并有效解决人所能解决有效解决人所能解决问题的系的系统。在人在人类的感知器官中，的感知器官中，视觉获取的信息量最大，大取的信息量最大，大约80%，因此，因此对于于发展智能机器而言，展智能机器而言，赋予机器以予机器以人人类视觉功能是十分重要的。功能是十分重要的。计算机算机视觉：研究用：研究用计算机来模算机来模拟生物外生物外显或宏或宏观视觉功能的技功能的技术学科。学科。计算机算机视觉的任的任务是用是用图像像创建或恢复建或恢复现实世界模世界模型，然后型，然后认知知现实世界。世界。具体来具体来说，让计算机具有算机具有对周周围世界的空世界的空间物体物体进行行传感、抽象、判断的能力，从而达到感、抽象、判断的能力，从而达到识别、理解、理解的目的。的目的。 1.1.计算机视觉的意义计算机视觉的意义2.2.视觉的过程视觉的过程2.2.视觉的过程视觉的过程2.2.视觉的过程视觉的过程2.2.视觉的过程视觉的过程2.2.视觉的过程视觉的过程2.2.视觉的过程视觉的过程计计算算机机视视觉觉过过程程分分为三个三个阶段段 特征提取和区域分割特征提取和区域分割基于基于轮廓廓,纹理理,颜色色建模与模式表达建模与模式表达基于各种物体的抽象化模基于各种物体的抽象化模型型描述和理解描述和理解基于景物的基于景物的结构知构知识2.2.视觉的过程视觉的过程底层处理中层处理高层处理知识少多n输入入设备(input device)的研制的研制,包括成像包括成像设备和和数字化数字化设备成象成象设备是指通是指通过光学光学摄像机或像机或红外、激光、超声、外、激光、超声、X射射线对周周围场景或物体景或物体进行行探探测成象，得到关于成象，得到关于场景或物体的二景或物体的二维或三或三维数数字化字化图像像n对输入入的的原原始始图像像进行行预处理理这一一过程程借借用用了了大大量量的的图像像处理理技技术和和算算法法，如如图像像滤波波、图像像增增强、边缘检测等等，以以便便从从图像像中中抽抽取取诸如如角角点点、边缘、线条条、边界界以以及及色色彩彩等等关关于于场景景的的基基本本特特征征；这一一过程程还包包含含了了各各种种图像像变换（如如校校正正）、图像像纹理理检测、图像运像运动检测等等3.3.计算机视觉的研究内容计算机视觉的研究内容n恢复恢复场景的深度、表面法景的深度、表面法线方向、方向、轮廓等有关廓等有关场景的景的2.5维信息信息,并在此基并在此基础上恢复物体的完整三上恢复物体的完整三维图，建立物体三，建立物体三维描述描述. n根据机器根据机器预先存先存贮的模型知的模型知识以及形状、色彩等以及形状、色彩等特征特征, ,对于于图像中各种物体像中各种物体进行行识别, ,确定它确定它们用用于哪一于哪一类物体物体. .n建立各个建立各个图像中物体的拓扑关系像中物体的拓扑关系图,给出出图像所反像所反映景物的映景物的结构描述构描述.n体系体系结构（构（system architecture）,涉及一系列涉及一系列相关的相关的课题,并行并行结构、分构、分层结构、信息流构、信息流结构、构、拓扑拓扑结构以及从构以及从设计到到实现的途径的途径3.3.计算机视觉的研究内容计算机视觉的研究内容图像多像多义性：性： 三三维场景被投影景被投影为二二维图像，深度和不可像，深度和不可见部分的信息被部分的信息被丢失，因而会出失，因而会出现不同形状的三不同形状的三维物体投物体投影在影在图像平面上像平面上产生相同生相同图像的像的问题另外，在不同角度另外，在不同角度获取同一物体的取同一物体的图像会有很大的差异像会有很大的差异环境因素影响：境因素影响：场景中的景中的诸多因素，包括照明、物体形状、多因素，包括照明、物体形状、表面表面颜色、色、摄像机以及空像机以及空间关系关系变化都会化都会对成像有影响成像有影响.知知识导引：引： 同同样的的图像在不同的知像在不同的知识导引下，将会引下，将会产生生不同的不同的识别结果果大量数据：大量数据： 灰度灰度图像，彩色像，彩色图像，深度像，深度图像的信息量十像的信息量十分巨大，巨大的数据量需要很大的存分巨大，巨大的数据量需要很大的存贮空空间，同，同时不易不易实现快速快速处理理4.4.视觉面临的困难视觉面临的困难上世上世纪50年代，从年代，从统计模式模式识别开始，主要集中开始，主要集中在二在二维图像分析与像分析与识别，主要，主要应用包括字符用包括字符识别、工件表面工件表面检测等等。等等。上世上世纪60年代，拓展到三年代，拓展到三维结构，构，对物体的形状，物体的形状，物体的空物体的空间关系关系进行描述。通行描述。通过对积木世界的研木世界的研究，引出了究，引出了边缘、角点等特征提取，、角点等特征提取，图像明暗、像明暗、纹理、运理、运动以及成像几何等研究工作。以及成像几何等研究工作。上世上世纪70年代，年代，Marr计算算视觉理理论，建立一个十，建立一个十分重要的理分重要的理论框架。框架。5.5.计算机视觉的发展（计算机视觉的发展（before1970sbefore1970s）5.5.计算机视觉的发展（计算机视觉的发展（after1970safter1970s）5.5.计算机视觉的发展（计算机视觉的发展（1970s1970s）(a) line labeling(Nalwa 1993), (b) pictorial structures (Fischler and Elschlager1973) (c) articulated body model (Marr 1982) (d) intrinsic images Barrow and Tenenbaum 1981) (e) stereo correspondence (Marr 1982 (f) optical flow (Nagel and Enkelmann 1986)5.5.计算机视觉的发展（计算机视觉的发展（1980s1980s）(a) pyramid blending (Burt and Adelson 1983) (b) shape from shading (Freeman and Adelson1991) (c) edge detection (Freeman and Adelson 1991) (d)physically based models (Terzopoulos and Witkin 1988) (e) regularization basedsurface reconstruction (Terzopoulos 1988) (f) range data acquisitionand merging (Banno, Masuda, Oishi et al. 2008Marr视觉计算理算理论三种三种层次次计算理算理论，主要解决，主要解决视觉系系统的的计算目的和策略算目的和策略是什么？是什么？输入入输出是什么？用什么策略根据系出是什么？用什么策略根据系统的的输入求出入求出输出？出？该层次的任次的任务就是研究如何建就是研究如何建立立输入入输出之出之间的的约束和关系。束和关系。 表示和算法，解决表示和算法，解决输入入输出信息如何来表示？如出信息如何来表示？如何何实现计算理算理论所所对应的功能的算法？以及如何的功能的算法？以及如何由一种表示由一种表示转换成另一种表示？成另一种表示？硬件硬件实现，就是具体的，就是具体的计算装置和一些算装置和一些细节配置配置5.5.计算机视觉的发展（计算机视觉的发展（19821982）5.5.计算机视觉的发展（计算机视觉的发展（1990s1990s）(a) factorization-based structure from motion (Tomasi and Kanade 1992), (b) dense stereo matching (Boykov, Veksler, and Zabih 2001), (c) multi-view reconstruction (Seitz and Dyer 1999) (d) face tracking (Matthews, Xiao, and Baker 2007), (e) image segmentation (Belongie, Fowlkes, Chung et al. 2002) (f) face recognition (Turk and Pentland 1991a).5.5.计算机视觉的发展（计算机视觉的发展（2000s2000s）(a) image stitching: merging different views (Szeliski and Shum 1997) (b) exposure bracketing: merging different exposures; (c) morphing: blending between two photographs (Gomes, Darsa, Costa et al. 1999 (d) turning a collection of photographs into a 3D model (Sinha, Steedly, Szeliski et al. 2008)图像像处理理：图像像处理通常是把一幅理通常是把一幅图像像变换成另外一成另外一幅幅图像，也就是像，也就是说，图像像处理系理系统的的输入是入是图像，像，输出仍然是出仍然是图像，信息恢复任像，信息恢复任务则留留给人来完成人来完成计算机算机图形学形学：通：通过几何基元，如几何基元，如线、圆和自由曲面，和自由曲面，来生成来生成图像，它在可像，它在可视化（化（Visualization）和虚）和虚拟现实(Virtual Reality）中起着很重要的作用）中起着很重要的作用计算机算机视觉正好是解决相反的正好是解决相反的问题，即从，即从图像中估像中估计几何基元几何基元和其它特征因此，和其它特征因此，计算机算机图形学属于形学属于图像像综合，合，计算机算机视觉属于属于图像分析像分析模式模式识别：模式一般指一模式一般指一类事物区事物区别于其它事物所具于其它事物所具有的共同特征。有的共同特征。6.6.计算机视觉与其它学科领域的关系计算机视觉与其它学科领域的关系人工智能（人工智能（AI）：涉及到智能系：涉及到智能系统的的设计和智能和智能计算的研究在算的研究在经过图像像处理和理和图像特征提取像特征提取过程后，接下来要用人工智能方法程后，接下来要用人工智能方法对场景特征景特征进行行表示，并分析和理解表示，并分析和理解场景人工智能有三个景人工智能有三个过程：程：感知、感知、认知和行知和行动神神经生理学与生理学与认知科学知科学：将人：将人类视觉作作为主要的主要的研究研究对象象计算机算机视觉中已有的中已有的许多方法与人多方法与人类视觉极极为相似相似许多多计算机算机视觉研究者研究者对研究人研究人类视觉计算模型比研究算模型比研究计算机算机视觉系系统更感更感兴趣，趣，希望希望计算机算机视觉更加自然化，更加接近生物更加自然化，更加接近生物视觉计算机视觉与其它学科领域的关系计算机视觉与其它学科领域的关系 零件零件识别与定位与定位产品品检验移移动机器人机器人导航航遥感遥感图像分析像分析医学医学图像分析像分析安全安全鉴别、监视与跟踪与跟踪国防系国防系统（目（目标自自动识别ATR与目与目标跟踪）跟踪）其它（体育、考古、其它（体育、考古、动画画 ）7.7.计算机视觉的应用计算机视觉的应用Sojourner 火星车前部图，中部的两个小突出是两个黑白CCD摄像机勇气号火星车Rocky 7 火星车CMU月球探测实验车Nomad漫游者基于基于散焦图像的场景深度重建散焦图像的场景深度重建算法算法 Flying sensor network (2010)Flying sensor network (2010)