本科毕业设计（论文）开 题 报 告题目 采用 Kinect 传感器的身份识别实验系统设计专 业 电子科学与技术（光电子方向）姓 名 凌晗 学 号 1120101018 班 级 04121003 指导教师 柯钧 学 院 光电学院 2014 年 4 月 5 日一、题目背景、研究现状和研究意义（选题背景、国内外研究现状、研究意义。）健全的交互式人体追踪已经在游戏、人机交互、安全工程、远程呈现以及卫生保健等行业中得到应用。然而，既能识别一般的身体动作，同时又要以满足实时交互所需的速率在硬件上进行实现的技术研究目前还远远不能满足需求。随着微软 Kinect 深度摄像机的出现，这一工作被大大简化。面向交互应用，基于深度图像进行动态动作识别，最明显的技术特点就是识别的高速率，即能够实现实时识别功能，以及识别的精确度。利用深度图像进行模式识别是近年来兴起的技术，这主要得益于深度图摄像机的成本降低。特别是微软推出 Kinect 设备，极大地激发了研究者们的兴趣。与飞行时间技术(time of flight，TOF)、结构光、三维激光扫描等深度相机相比，Kinect 深度相机的优势在于拍摄的深度图分辨率高，成本低。以往的利用可见光图像的单目识别常常遭遇光照变化、阴影、物体遮挡以及环境变化等因素的干扰。利用深度图像进行模式识别可以很好地克服以上可见光图像模式识别常遇到的困难。深度图像中像素的灰度值仅与视场窗口平面到物体表面的距离有关。因此，深度图像首先具有空间颜色无关性，不会遇到光照、阴影等因素的影响。其次，深度图像的灰度值与图像的横、纵坐标组合在一起，在一定的空间范围内，可以用来表示物体在 3D空间中的坐标，因此可以等效成在 3D 空间中进行模式识别。再者，如果利用图像深度信息进行模式识别，就相当于单目 3D 空问模式识别，可以克服遮挡或重叠问题。更重要的是，深度图摄像机的成像原理可以很好地保证相机标定的鲁棒性，适应各种环境变化，使之容易自调节重新标定且不需要测量标定物。这样，系统研发可以更多关注识别算法本身，而不会过分依赖于标定等前端工作的准确性，极大地简化了实际应用系统的复杂程度。利用深度图像进行模式识别是近年来兴起的一种方法。一家以色列的公司 PrimeSense于 2010 年 4 月推出为微软 XBOX 专用的三维测量技术的外部设备 Kinect(由动力学“kinetic”与连接“connect”2 个词汇组成的原创混合词)。该设备使用一种类似结构光而不是向空间发射特定形状的技术，叫光编码(1ight coding)技术，其检测装置只需要一块普通的 CMOS 芯片，因此成本大大降低，可作为民用化设备。其原理是对三维空间进行纵深标记，标记的信号光源采用的是激光散斑(1aser speckle)，当激光照射到粗糙物体或穿透毛玻璃后形成随机衍射斑点，这些斑点会随着距离而产生不同的图案，因此相机拍摄前首先对三维空间进行一次标定。在 PrimeSense 的专利上标定的方法是：每隔一段距离，取一个参考平面，把参考平面上的散斑图案记录下来。当检测物体时，所拍摄场景的散斑图像与标定的参考图像依次计算相关系数，存在物体的位置会出现峰值，将每一层参考平面处的峰值叠加，然后经过一些插值计算，就能够得到整个三维场景形状了。研究 Kinect 体感探测器及其应用开发，可以在其深度图像获取技术的基础上探索新的深度图像获取技术。同时，作为应用最为广泛的深度探测器，Kinect 的应用已经被拓展到游戏行业以外，研究其应用开发能够更深层次的探索深度图像技术在各个领域中的应用，利用这个平台创新出更多的技术。微软已经为 Kinect 的开发应用提供了相应的官方开发工具，Kinect 已经发展成一个孕育新的体感技术的平台。二、研究目标、研究内容和拟解决的关键问题（研究目标、主要内容及关键问题。）（宋体，小四，行间距 22 磅）研究目标：本次毕业设计的研究目标主要分为两个部分。第一，研究 Kinect 传感器所利用的深度图像信息获取技术，并深度剖析其技术原理及优缺点。第二，在理解 Kinect 传感器深度图像信息获取技术的基础上，继续探索它在各个领域的应用。利用 Kinect 体感技术开发新的人体识别应用。在这个过程中追求新技术应用的创新性和实用性。主要内容：1、通过文献调查，实验等方法了解深度图像信息获取技术的发展及其应用，深层次的了解 Kinect 传感器获取深度图像的原理和方法，对于硬件系统，要了解 Kinect 传感器的硬件组成和原理，对于软件系统，要了解其 light coding 技术算法。并在此基础上探索其实现高速实时深度图像采集的原理。2、深入学习 Kinect 开发技术，深入的学习了解 Kinect 官方 SDK（开发套件）的使用方法和编程技巧，可以熟练地使用开发工具根据开发思路开发出相应的 Kinect 应用，并熟练掌握 Kinect 应用程序的调试技术。3、在熟练掌握 Kinect 开发技术的基础上，利用 Kinect 传感器开发用户人体识别系统。将人体从复杂背景中利用深度信息进行分离出来。4、在完成简单的人体识别程序开发后，探索更具创新性的 Kinect 应用，提出相应的开发思路，完成可行性分析并最终使用 Kinect 开发工具开发出具有创新性和实用性的应用。关键问题：1、在阅读相关文献的基础上，要对 Kinect 传感器的工作原理有一个深刻的理解，针对每一个模块的工作原理深入了解。2、提出 Kinect 体感技术具有一定创新性和实用性的应用开发方案。三、 研究方案（拟采用的研究方法、技术路线、实验方案及可行性分析）（宋体，小四，行间距 22 磅）研究方法：采用目标指向型研究方法，首先充分了解 Kinect 体感技术现有的应用领域和技术，并在此基础上提出一个具有创新性的应用开发方案，并以此方案为基础，研究 Kinect 传感器在相关领域的应用开发技术，有侧重的研究相应的程序算法设计思路。技术路线：实验方案：1、阅读 Kinect 开发包中 demo 程序的源代码，并观察其运行的输出，掌握对 Kinect进行编程的基本技巧和方法。了解并学会使用 Kinect 的数据获取功能。2、针对人体识别的功能，首先设计一个可以单帧图像识别人体的算法，利用深度图像信息结合可见光图像进行图像处理，从而得到所要识别的人体。然后进行人体实时识别与跟踪。3、以第 2 步为基础，开发更为复杂的人体识别追踪程序。在深度图像中通过识别到的人体，进一步的通过人脸识别来进行身份识别。并在此基础上开发利用识别到的人体进行人机交互方面的新应用。可行性分析：利用深度信息可以很轻松的将目标从背景中分离出来，获得目标的轮廓位置信息。并且由于整个算法只是一个深度信息的比较算法，运算量非常小，可以做到实时的识别和追踪。此外，由于 C#语言中有丰富的鼠标和键盘虚拟接口函数，所以不需要设计额外的程序接口，人体识别程序的运行结果可以很方便的导入到其他程序中应用。Kinect 传感器获得深度图像利用深度图像信息进行人体初步分割与定位根据人体轮廓信息结合可见光图像进行人体与背景的分离，从而识别人体利用可见光图像和深度图像识别人体各部分（例如人脸）根据人体各部分的实时位置形成相应的指令反馈给计算机计算机根据反馈的指令进行相应的操作四、研究工作进度安排（宋体，小四，行间距 22 磅）2013.3.15-2013.4.1 文献阅读，国内外研究现状调查，人体身份识别的方案设计2013.4.1-2013.4.15 Kinect for Windows SDK 开发套件编程方法学习，翻译英文文献，深入了解现有应用的技术细节，完成毕业设计的开题报告。2013.4.15-2013.5.1 实验阶段，结合 Kinect 开发套件与 Kinect 传感器进一步熟悉开发技术，完成人体识别、分割及跟踪程序，然后完成人体识别功能，进行中期检查报告的撰写。2013.5.1-2013.5.15 完善人体识别程序，提高响应速度和精度。2013.5.15-2013.5.30 在完成人体识别程序的基础上，提出新的具有创新性的Kinect 应用开发方案，并完成相应的编程开发和测试工作。2013.6.1-2013.6.15 总结整个毕业设计，撰写毕业设计论文。五、参考文献（宋体，小四，行间距 22 磅）【1】Kinect 应用开发实战-用最自然的方式与机器对话 余涛 机械工业出版社 2012【2】Kinect 深度信息的研究及其在检测中的应用 魏琳、黄鑫材 杭州电子科技大学学报第 33 卷第 5 期 2013.10【3】Greg Borenstein.Making Things See:3D vision with Kinect, Processing, Arduino, and MakerbotM.Make: Books,2012.【4】Human Detection Using Depth Information by Kinect【5】W Zhang, Zhengyou. Microsoft kinect sensor and its effect. Multimedia, IEEE 19.2 (2012): 4-10.六、评审意见姓 名 职 称 工作单位 签 字组长评审组成员 组员评审意见 签字：年 月 日