电子科技大学电子科技大学电子科技大学电子科技大学 光电信息学院光电信息学院光电信息学院光电信息学院 二二二二九年九年九年九年4 4月月月月1717日日日日彭真明彭真明彭真明彭真明Email: pengzm_ioe163.comEmail: pengzm_ioe163.com主要内容uu成像探测与跟踪系统概述成像探测与跟踪系统概述成像探测与跟踪系统概述成像探测与跟踪系统概述uu运动目标检测方法运动目标检测方法运动目标检测方法运动目标检测方法uu成像目标跟踪方法成像目标跟踪方法成像目标跟踪方法成像目标跟踪方法uu目标跟踪技术应用及发展目标跟踪技术应用及发展目标跟踪技术应用及发展目标跟踪技术应用及发展主要内容uu成像跟踪系统概述成像跟踪系统概述成像跟踪系统概述成像跟踪系统概述uu运动目标检测方法运动目标检测方法运动目标检测方法运动目标检测方法uu成像目标跟踪方法成像目标跟踪方法成像目标跟踪方法成像目标跟踪方法uu目标跟踪技术应用及发展目标跟踪技术应用及发展目标跟踪技术应用及发展目标跟踪技术应用及发展一、成像探测与跟踪系统概述精确制导、目标跟踪精确制导、目标跟踪X-59导引头雷达导引头雷达导引头自动导系统自动导系统一、成像探测与跟踪系统概述导引头导引头舵机舵机发动机发动机尾尾翼翼自动导系统自动导系统一、成像探测与跟踪系统概述一、成像探测与跟踪系统概述EF2000欧洲战斗机装备欧洲战斗机装备“海盗海盗”机载红外搜机载红外搜索跟踪系统索跟踪系统 “海海盗盗”系系统统（无无源源红红外外机机载载跟跟踪踪设设备备）可可以以为为空空中中拦拦截截和和空空地地作作战战提提供供战战术术优优势势。该该设设备备安安装装在在机机舱舱左左侧侧、风风挡挡玻玻璃璃的的前前方方。“海海盗盗”系系统统在在空空对对空空模模式式下下运运行行的的时时候候，具具备备搜搜索索和和跟跟踪踪系系统统（IRSTIRST）功功能能，提提供供无无源源目目标标探探测测和和跟跟踪踪能能力力；在在空空对对地地模模式式下下，可可以以执执行行多多目目标标获获取取和和识识别别任任务务，同同时时还还能能提提供辅助导航和着陆功能。供辅助导航和着陆功能。 一、成像探测与跟踪系统概述红外监控系统红外监控系统一、成像探测与跟踪系统概述跟踪系统及跟踪实况跟踪系统及跟踪实况一、成像探测与跟踪系统概述什么是视频什么是视频(成像成像)目标跟踪？目标跟踪？一、成像探测与跟踪系统概述什么是视频什么是视频(成像成像)目标跟踪？目标跟踪？一、成像探测与跟踪系统概述研究现状（国际）研究现状（国际）1997年，美国国防高级研究项目署设立了以卡内基梅隆大学牵头，麻省理工学院等高校参与的视觉监控重大项目VSAM，主要研究用于战场及普通民用场景监控的自动视频理解技术。1999年，美国康奈尔大学计算机系设计了一套航拍视频检测与持续跟踪系统，该系统能够对多运动目标实现长时间的准确跟踪，即使发生短时间内目标被遮挡或目标时静时动的情况 。2005年，美国中央佛罗里达大学计算机视觉实验室开发出了基于MATLAB的COCOA系统，用于无人机低空航拍视频图像的目标检测与跟踪处理。一、成像探测与跟踪系统概述一、成像探测与跟踪系统概述研究现状（国内）研究现状（国内）研究所：中科院光电技术研究所、长春光机所、上海光机所，安徽光机所、上海技术物理所、中科院自动化所，沈阳自动化所 ，中国工程物理研究院等。高校：国防科技技术大学、西北工业大学、哈尔滨工业大学、北京理工大学、北京航空航天大学、华中科技大学、空军工程大学等。一、成像探测与跟踪系统概述成像跟踪系统流程及框图成像跟踪系统流程及框图一、成像探测与跟踪系统概述主要内容uu成像探测与跟踪系统概述成像探测与跟踪系统概述成像探测与跟踪系统概述成像探测与跟踪系统概述uu运动目标检测方法运动目标检测方法运动目标检测方法运动目标检测方法uu成像目标跟踪方法成像目标跟踪方法成像目标跟踪方法成像目标跟踪方法uu目标跟踪技术应用及发展目标跟踪技术应用及发展目标跟踪技术应用及发展目标跟踪技术应用及发展 1、静止背景下的目标检测、静止背景下的目标检测 帧差分法：帧差分法：二、运动目标检测 实例：实例：二、运动目标检测 2、运动背景下的运动检测：、运动背景下的运动检测：二、运动目标检测 光流简介光流简介二、运动目标检测由于亮度不随时间变化由于亮度不随时间变化根据亮度恒定假设:IxvItOptical Flow: 1D Case 根据亮度恒定假设有：根据亮度恒定假设有：根据泰勒公式，展开下式后，有：根据泰勒公式，展开下式后，有：比较上两式，得：比较上两式，得：最后得出光流方程最后得出光流方程(也叫光流约束方程也叫光流约束方程)：Optical Flow: 2D Case 光流的求解光流的求解二、运动目标检测实例实例实例实例二、运动目标检测 块匹配算法简介块匹配算法简介二、运动目标检测 块匹配算法的关键技术块匹配算法的关键技术二、运动目标检测匹配准则匹配准则目标帧锁定帧二、运动目标检测匹配准则匹配准则.均方差(Mean Square Error, MSE).平均绝对差(Mean absolute discrepancy, MAD)二、运动目标检测匹配准则匹配准则3.互相关(Cross-correlation, CC)4.最大像素匹配统计(Maximum Pixels counting， MPC)二、运动目标检测搜索策略搜索策略n2D 对数法搜索nJain and JainnExamine central point & its four surroundingsnDistance from center: r/2nFind best matchnIf best match is in center or on boundaries, half distance from centernExamine five new points centering previous best nWhen distance is 1, use all 9 matches, find best. Stop111112223344444444搜索策略nThree-Step Search (3SS)nKoga et aln9 Points: Central point & its 8 surroundingsnDistance: r/2nFind the best matchnUse previous best as centernHalf distance, select 8 newnRepeat algorithm 3 timesnExamines 25 pointsnAssumes a uniform distribution of MVs111111111232222222333 3 333搜索策略二、运动目标检测匹配特征匹配特征主要内容uu成像探测与跟踪系统概述成像探测与跟踪系统概述成像探测与跟踪系统概述成像探测与跟踪系统概述uu运动目标检测方法运动目标检测方法运动目标检测方法运动目标检测方法uu成像目标跟踪方法成像目标跟踪方法成像目标跟踪方法成像目标跟踪方法uu目标跟踪技术应用及发展目标跟踪技术应用及发展目标跟踪技术应用及发展目标跟踪技术应用及发展1、目标跟踪方法分类、目标跟踪方法分类三、成像目标跟踪方法xyabcdxcyc三、成像目标跟踪方法TemplateSearch image三、成像目标跟踪方法状态空间模型：系统方程：观测方程：状状态向量向量 状状态转移函数移函数过程噪声程噪声观测向量向量观测函数函数观测函数函数滤波平滑预测三、成像目标跟踪方法n问题提出：线性、高斯系统 卡尔曼滤波(KF) 非线性、高斯系统 扩展卡尔曼滤波(EKF)无极卡尔曼滤波(UKF)非线性、非高斯系统 粒子滤波(PF)?三、成像目标跟踪方法粒子滤波：一种基于递推贝叶斯估计的蒙特卡罗统计仿真方法基本概念：基本思想：利用一组加权随机粒子来近似状表示状态的后验概率密度 样本空本空间后后验概率密度概率密度三、成像目标跟踪方法n实例：三、成像目标跟踪方法n多目标跟踪：三、成像目标跟踪方法主要内容uu成像探测与跟踪系统概述成像探测与跟踪系统概述成像探测与跟踪系统概述成像探测与跟踪系统概述uu运动目标检测方法运动目标检测方法运动目标检测方法运动目标检测方法uu成像目标跟踪方法成像目标跟踪方法成像目标跟踪方法成像目标跟踪方法uu目标跟踪技术应用及发展目标跟踪技术应用及发展目标跟踪技术应用及发展目标跟踪技术应用及发展n 舰载直升机在反潜、救生、登陆、布雷与扫雷、火力校正、预警、侦察中广泛应用。n 由于中型舰船甲板较小，因风浪使甲板处于不规则的运动，直升机着舰的事故高。 1、直升机、无人机着降光电引导技术、直升机、无人机着降光电引导技术四、目标跟踪技术应用及发展n双双CCDCCD摄影测量算法摄影测量算法1XYZ2用两台CCD摄像机探测直升机上的激光信标，我们从捕获到的八个侯选信标中优选出四个信标点A、B、C、D，根据共线性条件建立方程组，并通过求解方程组，求出旋转矩阵M和位移矩阵T，得到直升机上着舰点相对着舰面的位置。四、目标跟踪技术应用及发展四、目标跟踪技术应用及发展四、目标跟踪技术应用及发展四、目标跟踪技术应用及发展n2、虚拟现实技术应用、虚拟现实技术应用主要内容uu成像探测与跟踪系统概述成像探测与跟踪系统概述成像探测与跟踪系统概述成像探测与跟踪系统概述uu运动目标检测方法运动目标检测方法运动目标检测方法运动目标检测方法uu成像目标跟踪方法成像目标跟踪方法成像目标跟踪方法成像目标跟踪方法uu目标跟踪技术应用及发展目标跟踪技术应用及发展目标跟踪技术应用及发展目标跟踪技术应用及发展