2 0 2 2无 人 机 航 拍 影 像 处 理解 决 方 案主讲人： 时间：前前 言言 无人机的使用范围可以从遥控发展到自主控制，作为无人机系统重要组成部分的通信技术，随着信息技术的发展必将使其不断完善和提高。下文综述了在未来信息战构想中的无人机通信技术的研究开发动向。 图像识别是利用计算机对图像进行处理，分析和理解，以识别不同模式的目标和对象的技术。无人机侦察指无人机利用各类侦察手段对目标区域进行侦察监视任务的技术。目前，无人机图像侦察识别是成本最低、获取方式最简单、实时性最强的无人机侦察技术。近年来，将图像识别技术应用于无人机侦察任务逐渐成为该领域最火热的研究方向，无人机图像侦察识别在软硬件均得到了快速的发展。本文首先介绍了无人机侦察与图像识别的基本理论知识，然后重点深入介绍了目前在无人机图像侦察识别技术方面的几种算法，并对无人机图像侦察技术的研究方向前景进行展望。实际应用背景实际应用背景 无人机的出现改变了很多行业传统的作业模式，使得多个行业的发展方向实现质的提升，地质行业也不例外。无人机以其安全、快速、高效的优势已逐步替代人工进行一些高要求、高难度的作业，成为地勘行业的“新标配”。 地质勘察工作，对于大部分人来说是陌生的。目前仍需科研人员跋山涉水、翻山越岭进行科学考察，寻找有价值的科研资料和自然资源。这些工作往往具有难度大、危险系数高等特点，所以地质勘查从业人员的工作压力和工作难度都相当大。无人机的应用对于野外地质勘探人员来说如同增添了“羽翼”。 无人机作业环境适应性强、准确性高。尤其在恶劣气候环境条件下，无人机可以最大限度地减小勘查人员的野外工作风险。 无人机勘察效率高。其主要优势在于可以更快、更直观地完成勘探工作。根据一些利用无人机勘探作业的经验来看，无人机比人工勘察作业的效率高出几十倍。无人机的应用不仅能够降低劳动强度，还大大节约了时间和人工成本。 无人机还可实现地质勘察数字化。传统勘测成果主要是地形图，无人机勘测提供的是数字影像图，能够直观地反映地形地貌。无人机以其超高清图传、超低时延数据传输、超视距飞行、异地控制等能力，能够迅速掌握地质调查目标区域的整体状况。 基于以上的优越性分析，无人机确实是地勘从业人员的好帮手。一、概述一、概述1.1为什么无人机摄影测量(UAV)1.2无人机摄影测量优势与劣势1.3无人机摄影测量的新起点1.2 无人机摄影测量优势与劣势优势具有机动性、灵活性和安全性分辨率高多角度性能优异低成本劣势像幅小基高比小姿态不稳定非专业相机1.2.3 性能优异无人飞行器可按预定飞行航线自主飞行、拍摄，飞行高度从50米到1000米，高度控制精度达到10米。阴云天气下的低空飞行也可获取光学影像，并且影像的逼真度超过雷达影像。不受高度限制，不受山区低云的影响。1.2.4 低成本UAV系统及传感器成本与其它遥感系统无法相比，一般的单位和个人都有能力负担。影像数据后处理的设备要求不高、成本费用低，高档微机就可以作为主要设备，不需要像传统航摄像片需配置高精度扫描仪和数字化处理设备。1.2.5 劣势像幅小、基高比小相同的重叠度情况下，需要跟多的控制点姿态不稳定旋偏角、俯仰、滚动，甚至导致连接有问题非专业相机光敏度、像点位移、存在镜头畸变、其它未知的系统误差1.3 新起点 抗震救灾(1)1.3 新起点 抗震救灾(2)2.1相机2.2重叠度与相机姿态角2.3小像幅、小基高比2.4分辨率与像点位移2.5曝光间隔与地面分辨率、地面速度关系二、无人机影像特点和影响因素分析 数数码码相机相机普通定焦型普通定焦型普通单反型普通单反型可量测单反型可量测单反型2.1非专业数码相机枕形变形桶装变形无变形2.1镜头畸变切向变形径向变形中间小，边缘大，可达20-40像素畸畸畸畸变变变变后果后果后果后果使物点、投影中心、像点三点不再共线影像形状发生非透视畸变同名光线不再相交空间后交精度降低重建物体的几何模型变形镜头镜头镜头镜头畸畸畸畸变变变变公式公式公式公式x0，y0为像主点x，y为像素坐标系坐标2.2 重叠度与相机姿态角传统摄影测量航向重叠60%旁向重叠30%姿态角3无人机摄影测量航向重叠70-85%旁向重叠35-55%姿态角可达10以上姿态不稳定，需要新的初始值计算方法姿态不稳定，基于灰度的相关系数匹配失效重叠度增大，增加观测值个数，增加解算稳定和可靠性2.3 小像幅、小基高比航高H基线B基线B大像幅小像幅由于单幅影像覆盖面积小，正射影像图接缝工作量变大，像对模型变多，增加了模型切换和模型接边工作量基高比变小，使得空中三角形不稳定，降低解算稳定性2.4 分辨率与像点位移影像地面分辨率影像因素相机本身CCD(CMOS)大小（ccd_size）像素分辨率相机镜头焦距(c)航高(H)像点位移使图像模糊影响有效分辨率像点位移公式像点位移公式(1).飞行器的地面速度(2).相机曝光时间(3).焦距长度c(4).飞行器的飞行高度(5).像元大小曝光间隔与地面分辨率、地面速度关系2.5 曝光间隔与地面分辨率、地面速度关系由方程（1）容易看出当GSD一定时，相机的曝光间隔与装载它的飞行器的地面飞行速度成反比关系t:曝光时间间隔GSD:地面分辨率Vg:飞行器的地面飞行速度P:航向重叠度npix:航向方向的像元个数它们的关系可以由下面方程表示它们的关系可以由下面方程表示7.综合分析通过分析可以看出当地面分辨率一定，飞行速度与曝光时间成反比。可以看出飞行速度与影像的运动成正比。因此可以知道飞行速度太快，像点位移会超出限定范围，这就会使得影像模糊，影响地面分辨率。但同时如果飞行速度太低，曝光间隔长了，这就会影响作业效率。由于影像存储速度的影像，曝光间隔至少要大于2sec，所以对于一定分辨率的影像，飞行器的飞行速度也不能太快。飞行时既要顾及作业效率也要考虑获取的影像质量，所以要在曝光间隔与搭载平台的飞行速度间找到一个最佳的值。四、待需解决的四、待需解决的四、待需解决的四、待需解决的问题问题问题问题1.变焦距引起的在相机内定向和检校方面的问题由于焦距长度可变，所以每次变换焦距长度都需要从新进行相机检校即使机械固定了焦距使其不变，在飞行高度增加时由于大气压的变化，焦距的长度仍然会发生变化2.像点位移带来的问题高于5CM，需要FMC（向前运动补偿）3.辐射校定方面的问题辐射校正方面主要的还是没有独立的标准算法进行获取的影像格式的转换（从BayerfilterorFoveonsensortoRGB）4.由于单幅影像覆盖面积小，正射影像图接缝工作量变大，像对模型变多，增加了模型切换和模型接边工作量处理技术三、三、无人机影像无人机影像处处理技理技术术与方法与方法3.1 相机标定由于数码相机的焦距可变，这样在不同的航空条件下内定向就会发生改变，因此可进行以下4个水平层次上进行几何校正（1）在实验室二维或三维试验场进行几何校正（2）在一个检校区域进行飞行几何校正（3）为了适应特定的区域环境，在飞行任务时同时进行检校（4）根据长期来检校的统计数据确定检校的时间周期标标标标定方法定方法定方法定方法二维平面法iWitness模板武武武武汉汉汉汉大学遥感信息工程学院大学遥感信息工程学院大学遥感信息工程学院大学遥感信息工程学院标标标标定定定定场场场场室内三维检校场室内三维检校场由测绘遥感国家重点实验室自主研发基金和重点开放基金支持的测绘遥感信息工程国家实验室长远建设项目”高分辨率对地观测系统定标与综合试验场建设”第一期航空定标与综合试验场已初步建成,并投入使用。航空定标与综合试验场位于河南登封市,面积近100平方公里,区域内有农田、道路、村镇、河流、树林等，典型的丘陵地形，交通便利，植被多样。217个高精度控制点分三级均匀分布在整个测区内，可满足不同分辨率航空传感器的检校与性能测试需要。各种可移动的标志物可用于传感器的分辨率测试和幅射校正工作。目前已获取了ADS40的不同GSD的影像，后续处理工作正在进行中。预计在年前完成DMC，LIDAR，TOPDC等航空传感器的航空摄影。室外三维检校场三三三三维检维检维检维检校校校校场场场场方法方法方法方法三维控制场需要有一定的深度利用空间后方交会标志点的关系长期稳定、不变标志点利用经纬仪精确测量3.2 航带生成根据kappa角的变化划分航带，自动去掉航带之间转向部分影像，自动生成航带3.3 基于特征的匹配基于特征匹配通常分为点、线、面的特征匹配。一般来说特征匹配分为三步：-特征提取-利用一组参数对特征进行描述-利用参数进行特征匹配3.4 错误匹配过滤1）基于一对一约束的粗差剔除2）基于尺度约束和角度约束的粗差剔除3）基于几何约束的错误匹配过滤4）RANSAC鲁棒估计3.5 光束法空中三角测量光束法空中三角测量以共线方程为基础（即摄影时地面点，摄站点，像点共线为条件），以一幅影像所组成的一束光线作为平差的基本单元，通过各个光线束在空间的旋转和平移，使模型之间的公共点的光线实现最佳交会。在具有多余观测的情况下，在保证pvv最小的意义下解求待求参数。3.6 DEM生成常用的主要生成方法：1)移动曲面拟合法2)多面函数法DEM内插3)有限元法DEM内插3.7 正射影像生成与镶嵌根据有关的参数与数字地面模型，利用相应的构像方程式，或按一定的数学模型用控制点解算，从原始的非正射投影的数字影像获取正射影像，其实就是将影像化为很多微小的区域逐一进行纠正（变换或映射）。然后将区域所有正射影像镶嵌成整个区域的正射影像。3.8 立体像对生成立体相对生成主要是用于立体测图仪（JX4C，VirtuoZo等等）进行立体观测。利用两幅相互重叠的影像构成立体相对。4. 天工无人机摄影测量处理软件现有处理软件模式4.1系统概述4.2系统功能4.3系统特色4.4系统流程4.5效率测试4.6实例现现有有处处理理软软件模式件模式传统摄影测量软件流程成熟作业效率低快速拼接，生成一张全景影像无精度，不可量测专用无人机摄影测量软件效率高有待大量生产检验4.1 系统概述针对无人飞机像幅小、姿态不稳定、重叠度大、非专业相机等特点，开发了一套无人机摄影测量数据自动处理系统GodWork4.2 系统功能无人机影像数据相机标定参数影像POS数据DP-UAV全自动处理系统控制点数据带颜色三维点云DEM正射影像4.3 系统特色采用特征匹配，适用于大偏角影像、大高差地区空三和DEM生成一体化，所有点参与光束法平差每片像点5千2万个，空三结果直接生成DEM较传统空三增加了上百倍的观测值，系统具备更强的粗差检测能力自标定，不需要严格相机参数处理自动化程度高支持多核CPU4.4 系统流程特征匹配每张影像提取特征点，相邻影像进行匹配初始构网每张影像提取特征点，相邻影像进行匹配带附加参数的光束法平差把所有匹配点纳入平差过程DEM和正射影像生成4.5 效率测试采用不同地面类型无人机影像数据20套，每套数据像片数150800张不等，航高500800米，佳能400D相机，焦距24mm，像片大小3888x2592像素运行环境，Intel4核CPU主频2.33GHz、内存3G运行模式全自动批处理平均处理速度每分钟2-3片成果密集点云（每片5,00020,000像点）DEM正射影像（采用GeoDoging进行匀光和镶嵌）4.6 实例(左)彩色的点云(中)DEM(右)正射影像新疆某地区338张像片，耗时147分钟，自动生成136万物方点，DEM和正射影像Part 01单 击 此 处 添 加 副 标 题 内 容三维浏览GeoDoging 匀光镶嵌的结果5. 低空影像数据处理实例拍摄范围布设控制点航线设计影像数据相机检校参数飞行区域大小-64平方公里获取方式：无人飞机，航高500米使用相机：canon450D获取时间：某日上午；天气状况：晴朗获取的影像：共1338张，15航带5.1 Google影像图5.2 1:10000的地形图相机检校参数（像素坐标原点:影像左上角）主点x02111.1586主点y01446.3661焦距f4675.8297径向畸变系数k10.000000005103349760径向畸变系数k2