无人机遥感影像快速处理技术无人机遥感影像快速处理技术张力张力 艾海滨艾海滨2011-11-72011-11-7 报告内容报告内容无人机数据处理流程无人机数据处理流程无人机数据处理关键算法无人机数据处理关键算法无人机数据快速处理技术无人机数据快速处理技术无人机数据快速处理应用无人机数据快速处理应用后续遥感数据快速处理的展望后续遥感数据快速处理的展望（1）无人机数据处理流程）无人机数据处理流程 （1）无人机数据处理流程）无人机数据处理流程高精度相机标定高精度相机标定YwOwXwZwZcYcXc像点xixyoOcf投影中心像平面世界坐标系相机坐标系空间点I几何成像模型l 径向畸变l 切向畸变 l 薄棱镜畸变 非量测相机：非量测相机：v像主点像主点v焦距焦距 （1）无人机数据处理流程）无人机数据处理流程人造对象人造对象精密仪器精密仪器多准直仪可测角准直仪和精密格网室内三维控制场平面格网简易三维刚体自然对象自然对象一维物体恒星同名点、绝对二次曲线和二次曲面铅垂线建筑物垂直线和灭点高精度相机标定高精度相机标定 （1）无人机数据处理流程）无人机数据处理流程无人机预处理无人机预处理v影像旋转影像旋转v主点修正主点修正v畸变改正畸变改正v格式转换格式转换 （1）无人机数据处理流程）无人机数据处理流程空中三角测量空中三角测量v空中三角测量空中三角测量vDSMDSM自动提取自动提取v影像正射纠正影像正射纠正v正射影像辐射处理正射影像辐射处理v正射影像拼接处理正射影像拼接处理vDSMDSM滤波生成滤波生成DTMDTM （2）无人机数据处理关键算法）无人机数据处理关键算法自动空中三角测量自动空中三角测量v影像航向重叠度和旁向重叠度都不够规则v像幅较小、像片数量多v影像的倾角过大且倾斜方向没有规律v航摄区域地形起伏大、高程变化显著，影像间的比例尺差异大、旋偏角大， 影像有明显畸变等这些情况下实现自动空三是现有数字摄影测量系统的主要 挑战，在大多数情况下都将导致错误结果.无人机数据存在的问题无人机数据存在的问题: : （2）无人机数据处理关键算法）无人机数据处理关键算法基于尺度基于尺度/ /旋转不变的全自动相对定向旋转不变的全自动相对定向自动空中三角测量自动空中三角测量基于尺度/旋转不变的全自动相对定向(无人机影像 影像旋偏角较大) 基于尺度/旋转不变的全自动相对定向(无人机影像影像旋偏角较大,影像纹理缺乏)基于尺度/旋转不变的全自动相对定向(无人机影像 纹理缺乏,影像偏航较大)基于尺度/旋转不变的全自动相对定向(倾斜摄影影像)基于尺度/旋转不变的全自动模型连接 （2）无人机数据处理关键算法）无人机数据处理关键算法DSM/DEMDSM/DEM自动提取技术自动提取技术 算法采用由粗到细（Coarse-to-fine）的多级影像匹配策略，综合集成多种成熟的，性能互补的影像匹配算法，并在匹配算法的各个子模块之间进行质量控制，自动进行匹配粗差定位和剔除，充分利用高分辨率遥感影像所提供的新特点（高信噪比，高反差的影像，高地面覆盖重叠率等），获取成像区域的高精度DEM。+ 基于基于物方的多影像匹配物方的多影像匹配物方的多影像匹配物方的多影像匹配( (多目视觉多目视觉) )方法，方法，可以同时匹配多于可以同时匹配多于2 2景影像，有效地解决匹景影像，有效地解决匹配困难地区配困难地区( (如重复纹理，遮挡区域如重复纹理，遮挡区域) )的三的三维信息自动提取问题；维信息自动提取问题；+ 融合多种特征进行匹配，如离散点和特融合多种特征进行匹配，如离散点和特融合多种特征进行匹配，如离散点和特融合多种特征进行匹配，如离散点和特征线征线征线征线，并采用，并采用TINTIN结构表达地面模型结构表达地面模型, ,有利有利于地形复杂地区的于地形复杂地区的DEMDEM生成生成; ;+ 兼顾影像的全局和局部信息兼顾影像的全局和局部信息兼顾影像的全局和局部信息兼顾影像的全局和局部信息, ,采用兼顾地采用兼顾地形特征线信息的全局概率松弛法影像匹配形特征线信息的全局概率松弛法影像匹配算法，有效的解决了影像纹理缺乏区域算法，有效的解决了影像纹理缺乏区域（大面积沙漠，荒漠，冰雪覆盖区域）的（大面积沙漠，荒漠，冰雪覆盖区域）的自动地形测绘问题自动地形测绘问题; ;+ 自适应匹配参数调整自适应匹配参数调整自适应匹配参数调整自适应匹配参数调整，可同时匹配各种，可同时匹配各种不同地面分辨率不同地面分辨率, ,不同传感器的影像；不同传感器的影像；例如例如例如例如: : : : 可同时匹配同一区域的可同时匹配同一区域的可同时匹配同一区域的可同时匹配同一区域的SPOT5 10SPOT5 10SPOT5 10SPOT5 105 5 5 5米分米分米分米分辨率辨率辨率辨率HRSHRSHRSHRS立体影像和立体影像和立体影像和立体影像和2.5/5.02.5/5.02.5/5.02.5/5.0米分辨率米分辨率米分辨率米分辨率HRGHRGHRGHRG影影影影像像像像, , , ,从而自动生成该区域的从而自动生成该区域的从而自动生成该区域的从而自动生成该区域的DEMDEMDEMDEMDigital Surface Model of City Area+ 具有独特的地貌细节精化匹配具有独特的地貌细节精化匹配具有独特的地貌细节精化匹配具有独特的地貌细节精化匹配(GRM)(GRM)(GRM)(GRM)技术技术技术技术, ,使生成的数字地面模型对微细地貌表达更使生成的数字地面模型对微细地貌表达更好。好。可引入可引入SRTM90SRTM90、GTOPO30GTOPO30等地分辨率等地分辨率DEMDEM做为初值，加快做为初值，加快DEMDEM的生成效率的生成效率. .由由0.2米分辨率无人机航空影像获取的米分辨率无人机航空影像获取的1米分辨率米分辨率DSM数据数据(宁夏中卫市宁夏中卫市)由无人机航空影像获取的由无人机航空影像获取的2米分辨率米分辨率DSM数据数据(四川四川) （2）无人机数据处理关键算法）无人机数据处理关键算法无人机遥感影像辐射校正无人机遥感影像辐射校正 （2）无人机数据处理关键算法）无人机数据处理关键算法大范围正射影像自动拼接大范围正射影像自动拼接 （2）无人机数据处理关键算法）无人机数据处理关键算法 通常的拼接线通常的拼接线 自适应正射影像拼接线自适应正射影像拼接线(躲避房屋躲避房屋,树木等树木等)基于动态规划算法的正射影像拼接线提取大范围正射影像自动拼接大范围正射影像自动拼接 （2）无人机数据处理关键算法）无人机数据处理关键算法大范围正射影像自动拼接大范围正射影像自动拼接 （2）无人机数据处理关键算法）无人机数据处理关键算法（1 1）缩小算法）缩小算法创建创建LaplacianLaplacian 金字塔影像金字塔影像（2 2）针对拼接）针对拼接缝利用缩小缝利用缩小算法创建高算法创建高斯金字塔斯金字塔（3 3）各级上利）各级上利用高斯金字用高斯金字塔影像作为塔影像作为权重对权重对LaplacianLaplacian影影像进入加权像进入加权融合融合（4 4）扩张算法）扩张算法从低层到高从低层到高级顺序累加级顺序累加融合后金字融合后金字塔影像，形塔影像，形成最终融合成最终融合影像影像全景图快速拼接全景图快速拼接高时相、高分辨率、高光谱、高重叠高时相、高分辨率、高光谱、高重叠度等成像方式为测量物体带来大量数度等成像方式为测量物体带来大量数据的同时，也给数据处理技术带来了据的同时，也给数据处理技术带来了新的挑战。新的挑战。怎样及时将原始数据加工、处理，使之成怎样及时将原始数据加工、处理，使之成为能被人们所理解与利用以及能由计算机为能被人们所理解与利用以及能由计算机系统识别、利用、分析的信息，特别是实系统识别、利用、分析的信息，特别是实时转化为所需要的信息，这是我们面临的时转化为所需要的信息，这是我们面临的一个严峻的课题。一个严峻的课题。与传统摄影测量相比，新的数据获取技与传统摄影测量相比，新的数据获取技术为测量物体提供更高精度和更佳稳定术为测量物体提供更高精度和更佳稳定性的基础数据。性的基础数据。DMCUltraCam-DADS40 （3）无人机数据快速处理技术）无人机数据快速处理技术（3）无人机数据快速处理技术）无人机数据快速处理技术 法国欧空局已经开发了法国欧空局已经开发了一套处理大重叠度影像一套处理大重叠度影像的，集群式处理环境下的，集群式处理环境下比较成熟的高性能遥感比较成熟的高性能遥感影像数据处理软件影像数据处理软件“像像素工厂素工厂”（Pixel Pixel Factory)Factory)，主要功能自，主要功能自动动DSMDSM生产，自动正射生产，自动正射影像纠正等影像纠正等 美国美国IntergraphIntergraph公司为企业化高效生产正射公司为企业化高效生产正射影像而推出的软件系统影像而推出的软件系统PixelPipePixelPipe，该软件，该软件为正射影像生产提供了可扩展的无缝解决方为正射影像生产提供了可扩展的无缝解决方案，它主要包括以下特点：可以管理影像及案，它主要包括以下特点：可以管理影像及元数据、智能分布式处理数据、严格的质检元数据、智能分布式处理数据、严格的质检和质量评价和高度自动化的正射影像纠正。和质量评价和高度自动化的正射影像纠正。 PixelPipePixelPipe还处于发展的初期，今后还会扩展还处于发展的初期，今后还会扩展现有解决方案中功能，扩展主要体现在数据现有解决方案中功能，扩展主要体现在数据的获取、数据的后处理、自动空中三角测量、的获取、数据的后处理、自动空中三角测量、自动数字地面模型的提取、编辑和管理功能。自动数字地面模型的提取、编辑和管理功能。 （3）无人机数据快速处理技术）无人机数据快速处理技术DPGridDPGrid系统、系统、PixelGridPixelGrid系统系统具备网络化、自动化、智能化、分布式处理和并行处理等特性，具备网络化、自动化、智能化、分布式处理和并行处理等特性，是一个能够适应新型传感器、大范围、自动化、网络化、智能化的新一代数字摄影测量数据处是一个能够适应新型传感器、大范围、自动化、网络化、智能化的新一代数字摄影测量数据处理平台理平台Basic configuration of PC workstation cluster systemBasic configuration of high-quality blade server systemHigh quality blade computer systemAutomated & parallel computationdatadataTask scheduling computesdatadataPC workstationsLANLANGigabyte switchGigabyte switch （3）无人机数据快速处理技术）无人机数据快速处理技术 (3) 无人机数据快速处理技术无人机数据快速处理技术多多种种数数字字产产品品无无人人机机遥遥感感数数据据单机多核、多机多核集群处理单机多核、多机多核集群处理与与GPUGPU并行处理技术并行处理技术 （3）无人机数据快速处理技术（预处理）无人机数据快速处理技术（预处理) （3）无人机数据快速处理技术（预处理）无人机数据快速处理技术（预处理) （3）无人机数据快速处理技术（预处理）无人机数据快速处理技术（预处理) （3）无人机数据快速处理技术）无人机数据快速处理技术(空三空三)UCXP航空影像自动相对定向单机多核单机多核单机多核单机多核分布式处理实验(8核CPU,856像对只需75分钟)自动自动/ /高效航空影像区域网平差技术高效航空影像区域网平差技术 宁夏中卫市0.15米分辨率无人机影像（1100幅）区域网平差结果，自动化完成，共需1天左右时间（预处理、人工建工程、自动连接点量测 + 半自动控制点量测 + 人工微调） （3）无人机数据快速处理技术）无人机数据快速处理技术(DSM)重庆测绘院基于普通PC机多核并行的无人机航空影像处理实验(200像对只需3小时) Post-preprocessing: DSM to DTM usinga modified filter proposed by Vosselman, G., 2000（3）无人机数据快速处理技术）无人机数据快速处理技术(DSM滤波滤波) (3)无人机数据快速处理技术无人机数据快速处理技术(DSM编辑编辑)多人网络分布式多人网络分布式DSMDSM在线编辑系统在线编辑系统服务端：测区服务端：测区DSMDSM编辑任务的分配编辑任务的分配 (3)无人机数据快速无人机数据快速处理技理技术(DSM编辑) (3)无人机数据快速无人机数据快速处理技理技术(DSM编辑)DSMDSM分布式编辑客户端登录后自动从服务器上获取测区分布式编辑客户端登录后自动从服务器上获取测区DSMDSM (3)无人机数据快速无人机数据快速处理技理技术(DSM编辑)基于晕渲图的快速基于晕渲图的快速DSMDSM编辑编辑 (3)无人机数据快速无人机数据快速处理技理技术(DSM编辑)基于立体模型的基于立体模型的DSMDSM精编辑精编辑 (3)无人机数据快速无人机数据快速处理技理技术(DSM编辑) （3）无人机数据快速处理技术）无人机数据快速处理技术(正射纠正正射纠正) （3）无人机数据快速处理技术）无人机数据快速处理技术(色彩处理色彩处理)系统在系统在HP XW6600 HP XW6600 四核图形工作站上的运行界面。四核图形工作站上的运行界面。B B是单个任务执行情况是单个任务执行情况 A A是三个任务同时执行情况是三个任务同时执行情况 （3）无人机数据快速处理技术）无人机数据快速处理技术基基于于图图形形处处理理单单元元的的快快速速影影像像漫漫游游大影像快速漫游技术大影像快速漫游技术分辨率分辨率0.20.2米，正射影像大小为米，正射影像大小为756MB756MB，基于，基于FX1800FX1800显卡处理只需显卡处理只需3030秒秒而采用而采用PixelGridPixelGrid中基于中基于CPUCPU的纠正则需大约的纠正则需大约8 8分钟，加速比为分钟，加速比为1616倍倍基于基于GPUGPU的快速影像精纠正技术的快速影像精纠正技术 （3）无人机数据快速处理技术）无人机数据快速处理技术2121张张UCDUCD航空遥感影像航空遥感影像( (面积约面积约7373平方公里平方公里) )利用利用GPUGPU纠正（单机单线程处理模式纠正（单机单线程处理模式) ) （3）无人机数据快速处理技术）无人机数据快速处理技术基于基于GPUGPU的快速影像精纠正技术的快速影像精纠正技术 （3）无人机数据快速处理技术）无人机数据快速处理技术基于基于GPUGPU的快速影像精纠正技术的快速影像精纠正技术 在在NVIDIA FX1800NVIDIA FX1800显卡和显卡和72007200转速的转速的SATASATA盘机器上运效率：生成盘机器上运效率：生成2121张正射影像，张正射影像，共共9.2GB9.2GB数据量，共花销约数据量，共花销约1919分钟分钟 （3）无人机数据快速处理技术）无人机数据快速处理技术基于基于GPUGPU的快速影像精纠正技术的快速影像精纠正技术在在NVIDIA NVIDIA QuadroQuadro 4000 4000显卡和显卡和10001000转速转速SASSAS盘的机器上运行效率：盘的机器上运行效率：生成生成2121张正射影像，共张正射影像，共9.2GB9.2GB数据量，数据量，共花销约共花销约8 8分钟分钟 （3）无人机数据快速处理技术）无人机数据快速处理技术vPC + PC + 高性能刀片模式高性能刀片模式vPC + PC + 多主机工作站模式多主机工作站模式基于多机多核的分布式集群处理技术基于多机多核的分布式集群处理技术 （3）无人机数据快速处理技术）无人机数据快速处理技术基于中间件的松散耦合并行服务架构基于中间件的松散耦合并行服务架构 增加或删除计算节点而无需修改现有系统，从而提高系统的可扩展性 增加或删除计算节点而无需修改现有系统，从而提高系统的可扩展性 2 2建立钻孔数据集市建立钻孔数据集市 中间件可以屏蔽网络中参与处理的计算机平台的异构，从而可以透明地使用这些计算平台 不同的实现但符合接口和协议规范的服务可以在系统中使用，因此具有比较好的开放性 4 41 13 3中间件中间件(Middleware)(Middleware)是位于平台是位于平台( (硬件和操作硬件和操作系统系统) )和应用之间的通用服务，这些服务具有和应用之间的通用服务，这些服务具有标准的程序接口和协议标准的程序接口和协议这种架构的优点：这种架构的优点：系系 统统 软软 件件 组组 成成自动处理部分自动处理部分网络服务中间件服务本机性能监测服务摄影测量处理服务v性能检测服务：性能检测服务：为客户端提供本机负载、资源使为客户端提供本机负载、资源使用情况，以便任务调度端进行负载均衡调度任务用情况，以便任务调度端进行负载均衡调度任务v摄影测量处理服务：摄影测量处理服务：在本地为任务调度端提供在本地为任务调度端提供相应的摄影测量处理服务相应的摄影测量处理服务v中间件服务：中间件服务：为上层的应用服务提供分布式集为上层的应用服务提供分布式集群框架，使得上层的应用服务只需关注具体的应群框架，使得上层的应用服务只需关注具体的应用，而无需关注底层的应用协议和本机多线程并用，而无需关注底层的应用协议和本机多线程并行处理调度等行处理调度等v网络服务：网络服务：为中间件服务层提供网络传输服务，为中间件服务层提供网络传输服务，使得上层无需关注网络端的异步通信或同步传输使得上层无需关注网络端的异步通信或同步传输等等系系 统统 软软 件件 组组 成成自动处理部分自动处理部分v多机分布式集群处理多机分布式集群处理v单机多单机多CPUCPU和多核并行处理和多核并行处理系系 统统 软软 件件 组组 成成任务调度部分任务调度部分网络服务中间件服务自动处理节点性能监测任务调度任务监控v自动处理节点监测：自动处理节点监测：定时从处理节点定时从处理节点获取节点的负载信息，然后生成报告给获取节点的负载信息，然后生成报告给任务调度模块，以便负载均衡式地调度任务调度模块，以便负载均衡式地调度任务任务v任务调度：任务调度：通过人机界面接收任务，然通过人机界面接收任务，然后按照性能检测模块的报告，按照负载均后按照性能检测模块的报告，按照负载均衡的方式将待处理的任务发送到相应的处衡的方式将待处理的任务发送到相应的处理节点上，然后通知任务监控模块，对任理节点上，然后通知任务监控模块，对任务处理的进展进行实时监控务处理的进展进行实时监控v任务监控：任务监控：接收在处理节点上运行任务接收在处理节点上运行任务的信息，并通过人机界面让操作员实时的信息，并通过人机界面让操作员实时了解任务进展，并接收远端处理完的成了解任务进展，并接收远端处理完的成果数据，并在本机上储存该数据果数据，并在本机上储存该数据系系 统统 软软 件件 组组 成成任务调度部分任务调度部分正射影像纠正试验效率对比正射影像纠正试验效率对比试验数据：试验数据：原始影像：原始影像：SPOT5 HRS为全色影像（像素大小12000100904）DEM： 利用该HRS立体像对进行自动匹配所得，格网间隔为25米， 格网数为872820575。正射影像：正射影像：地面分解率为5米方案方案时间时间( (秒秒) )单机模式单机模式42864286分分布布式式处处理理3 3台台279927994 4台台143214325 5台台118011806 6台台115711577 7台台110011008 8台台10151015结论：结论：一、多台分布式并行处理比单机处理方式能够提高效率一、多台分布式并行处理比单机处理方式能够提高效率二、处理效率并不一定与计算节点数成正比，究其原因，其中最大的效率瓶二、处理效率并不一定与计算节点数成正比，究其原因，其中最大的效率瓶 颈是数据网络传输问题和调度机器的颈是数据网络传输问题和调度机器的IO操作瓶颈，提高网络传输数据和操作瓶颈，提高网络传输数据和 解决解决IO操作瓶颈是一种提高分布式处理效率的有效办法。操作瓶颈是一种提高分布式处理效率的有效办法。 + 单机运行 - Intel Xeon 3.00GHZ CPU - 2.0 GB Memory - 32 bit Windows XP OS. + + 总总共共共共 207207小小小小时时, , 大大大大约约13.813.8小小小小时时/ /立体像立体像立体像立体像对对+ on IBM HS21-8853 刀片集群系统中运行 - 8 blade severs, and for each, - 2 4 core Intel XeonTM E5310 1.6 GHZ CPU - 8 GB Memory - 32 bit Windows XP OS. + 15 + 15 并并并并行行行行处处理任理任理任理任务务, , 大大大大约约 1.91.9处处理任理任理任理任务务/ /节节点点点点 + + 总总共共共共 17.2 17.2 小小小小时时, , 大大大大约约1.1 1.1 小小小小时时/ /立体像立体像立体像立体像对对50m DTM generated from 15 SPOT-5 HRS pairs 从15景 SPOT-5 HRS 立体像对生产DSM+ 在一台工作站上运行 - Intel Xeon 3.00GHZ CPU - 2.0 GB Memory - 32 bit Windows XP OS. + +总总共共共共 74 74 小小小小时时, , 大大大大约约 2.1 2.1 小小小小时时/ /像像像像对对+ 在PC集群系统中运行 - Gigabit Switch, 1KMb/s LAN - 8 PCs, and for each PC, - 4 core Intel XeonTM E5310 1.6 GHZ CPU - 8 GB Memory - 64 bit Windows 7.0 OS. + 32 + 32 并并并并发处发处理任理任理任理任务务, , 大大大大约约1.1 1.1 处处理任理任理任理任务务/PC/PC + + 总总共共共共 3.73.7小小小小时时, , 大大大大约约7 7分分分分钟钟 / /像像像像对对40cm DSM generated from aerial images 从36张8cm分辨率UCD航空影像生产DSM重庆测绘院基于普通PC机集群的无人机影像分布式处理实验(200幅正射影像只需11分钟)2010年青海玉树结古镇震后0.4米分辨率正射影像图,由航空影像获取, 接到数据后7小时完成 （4 4）无人机数据快速处理应用）无人机数据快速处理应用2010年青海玉树结古镇震后2米分辨率DSM彩色晕渲图,由航空影像获取2010年甘肃舟曲县泥石流灾害影像图,由近200幅0.2米分辨率无人机航空影像数据处理所得,从自动空三到正射影像制作完成共用近6小时舟曲县城区三维地表模型舟曲县城区三维地表模型2010年甘肃舟曲县泥石流灾害影像图,由近200幅0.2米分辨率无人机航空影像数据处理所得,从自动空三到正射影像制作完成共用近6小时 (4)后续遥感数据快速处理的展望后续遥感数据快速处理的展望硬件部署硬件部署基于基于GPU+CPUGPU+CPU的分布式并行计算系统架构的分布式并行计算系统架构GPU+多多CPU并行集群系统并行集群系统磁盘阵列磁盘阵列：解决大数据量的存储和磁盘IO效率InfiniBand网网：网速可达40GB/s,解决网络延时和带宽限制，从而满足系统处理数据的吞吐量多多CPU集群服务集群服务：多CPU解决复杂逻辑计算多多GPU集群服务集群服务：解决图形图像等方面的快速处理问题工作站工作站：主要实现任务调度、 任务监控，和少量 单机处理软件部署软件部署谢谢 谢！谢！2011