南阳师范学院20XX届毕业生毕业论文（设计） 题 目： DEM粗差剔除方法研究 完 成 人： 班 级： 学 制： 专 业： 测绘工程 指导教师： 完成日期： 目录摘要(1)1引言(1)1.1 选题意义(1)1.2 研究现状(2)2 DEM粗差探测与剔除方法研究(4)2.1 基于三维可视化的DEM粗差探测与剔除(4)2.2 基于高程信息的不规则分布数据粗差检测与剔除(4)2.3 检测规则分布数据中粗差的算法(5) 2.3.1基于参数统计的粗差检测(5) 2.3.2基于参数统计的粗差检测(6) 2.3.3基于主成分分析的粗差检测(8)2.4 检测不规则分布数据中粗差的算法(9) 2.4.1基于点方式的算法(9) 2.4.2基于粗差簇群的算法(10)2.5 基于等高线拓扑关系的粗差检测与剔除(10)3基于趋势面的粗差探测与剔出方法研究(11)3.1 获取数据采集后形成的原始DEM数据(11)3.2 数据预处理(12)3.3粗差检测及修正(13)3.4 实验分析(14)4总结与展望(17)参考文献(18)Abstract(18)DEM粗差剔除方法研究 摘要: 数字高程模型（DEM）作为4D产品（DEM-数字高程模型、DOM-数字正射影像、DLG-数字线划图、DRG-数字栅格图）之一，是一种对地球表面的数字化描述和模拟，是地球空间数据基础设施的重要组成部分，是建立地形高程数据库和各类GIS（地理信息系统）库,进行地形定量分析等方面所必需的基础数据。数字高程模型的应用越来越广泛，可用于地学分析、二维地理空间上连续分布并逐渐变化的各种非高程属性数据的建模与分析。DEM的数据来源方式有地面测量（利用自动记录的测距经纬仪在野外实测）、现有地图数字化（利用数字化仪对已有地图上的信息如等高线、地形线等进行数字化，目前常用的数字化仪有手扶跟踪数字化仪与扫描数字化仪）、空间传感器（利用GPS等进行数据采集）、数字摄影测量方法（这是DEM数据采集最常用的一种方法）。事实上,不管采用何种测量方法,测址数据总会包含各种各样的误差, 可将误差分为三种,即系统误差、偶然误差和粗差。同系统误差、偶然误差相比,粗差实际上是一种错误,他们在测量中出现的可能性一般比较小。但是与前两种误差相比,粗差对数字高程模型所反映的空间变化的扭曲更为严重,因而粗差是影响DEM质量的重要因素之一。根据统计规律,常用2倍或3倍中误差作为极限误差,即模型误差大于极限误差的观测数据被认为是粗差。粗差的产生主要出现在DEM的生产过程中，并最终表现在高程Z上。粗差的存在会造成数字高程模型(DEM)空间上的严重扭曲,有时能导致DEM及其产品严重失真,甚至完全不能使用。因而有关DEM 的粗差诊断问题已愈来愈引起人们的关注。探测和剔除DEM数据中存在的粗差显得尤为重要。DEM有多种数据形式：规则格网、不规则格网、等高线、剖面图等,DEM原始数据可以规则格网的形式存在,也可能以不规则分布的形式存在,以规则格网形式存在的数据具有一些独特的特性,比如高程数据能以简洁而经济的方式存储在高程矩阵中。这些特性有助于数据粗差检测算法的设计 也正因为如此,适合于格网数据的粗差探测算法可能对检测不规则分布数据的粗差毫无用处,因此对不同类型的数据,有必要设计不同的粗差检测算法与剔除算法。本课题是在对现有的DEM粗差探测法进行分析的基础上，重点分析基于趋势面的检测DEM粗差的方法，并证明其可行性。关键词：数字高程模型 ； 粗差探测 ； 粗差剔除1引言1.1 选题意义数字高程模型(Digital Elevation Model,简称DEM)是以数字的形式按一定结构组织在一起，表示实际地形特征空间分布的模型，也是地形形状大小和起伏的数字描述，由一系列地面点X，Y位置及其相联系的高程Z组成，是各种信息的载体，是地理信息系统(Geographic Information System，GIS)技术中最重要的内容，是空间数据基础设施的重要组成部分，在生产中具有很高的利用价值。首先，它能够反映区域内的地形条件，为各用图部门提供地形基础，其次，用它制作沙盘，具有快速、简便、精确的优点，可用于军事指挥和模型演示；还可以用于农业部门的农田水利规划，水利部门的洪水淹没损失估算及水利建设的土方量计算，交通、建筑等各建设部门的选址、规划，通讯部门信号覆盖范围的规划与计算，地址、勘探部门地形的分析，各旅游景点的规划及土地资源调查；也能用于二维地理空间上连续分布并逐渐变化的各种非高程属性数据的建模与分析上。可以说DEM数据具有广泛的应用潜力。目前，由于地理信息系统(GIS)的普及以及空间数据基础设施的发展和建设，DEM作为数字线化图(DLG)、数字高程模型(DEM)、数字正射影像图(DOM)和数字栅格图(DRG)即“4D”产品之一，己经成为国家空间数据基础设施(National Spatial Data Infrastructure，NSDI)的基本内容之一，并被纳入数字化空间数据框架(DGDF)进行规模化生产。今天，DEM已作为一个独立的产品而存在，并越来越广泛地被用来代替传统地图中等高线对地形的描述，成为地理信息系统的核心数据库以及地学分析的基础数据。与其他工业产品一样，DEM产品也必须有质量管理和质量控制。由于影响DEM质量的因素是多种多样的，无论采用哪种途径都不能很好地解决所有的问题。从误差理论的角度分析，可以划分为系统误差、随机误差和粗差。其中，系统误差总是与特定的观测系统联系在一起，它们可能是由于立体像对的不正确定向造成的，也可能是摄影测量生产过程中忽略了棱镜变形而导致。从统计意义上说，系统误差给观测值带来的偏差在空间上并不是一个常数，但当它们己知时，可用一定的函数关系式来表示。随机误差在大小和符号上表现出偶然性，假如存在足够的观测值，随机误差服从下列特征:(1)正负误差发生的概率大致相同;(2)小误差发生的概率高于大误差;(3)大误差很少发生。随机误差既不可以通过反复观测加以剔除，也不能用一定的函数关系式表示。在空间上，它们呈弱相关性，并在整个DEM中服从高斯分布。粗差是由于观测者在操作仪器时的粗心，或读数、记录时的错误造成的，从统计的角度分析，这类观测值与其他观测值并不属于同一分布。与系统误差和随机误差相比较，粗差对DEM数据所反映的空间变化的扭曲更为严重，特别是现代观测数据量大的情形。因此，在现代测量数据处理中如何消除粗差的影响，特别是自动化观测水平高，数据量大的情况下，就显得越来越重要。粗差它的存在会导致DEM及产品的严重失真，甚至完全不能使用。因此，设计一些算法检测并剔除DEM数据中的粗差是完全必要的。因此探测和剔除DEM数据中存在的粗差显得尤为重要。本课题是在对现有的DEM粗差探测法进行分析的基础上，重点分析基于趋势面的探测DEM粗差的方法及粗差的剔除，并证明其可行性。1.2 研究现状 DEM是地理空间定位的数字数据集合，它最初是美国麻省理工学院Miller教授为高速公路的自动设计于1956年提出来的，随着各种相关技术的发展,特别是计算机技术在测绘方面的应用使得测绘学科逐渐向数字化、实时处理与多用途的方向发展1。质量控制是数字高程模型(Digital Elevation Model- DEM) 生产的重要环节之一。然而粗差对DEM 数据所造成的空间扭曲往往最为严重,有时能导致DEM及其产品严重失真,甚至完全不能使用,因此很有必要研究一些方法对DEM的粗差进行探测和修正。要有效地探测DEM数据中存在的粗差,必须在数据采集后形成的原始DEM 数据中进行。原始的DEM数据结构有规则和不规则两类。从实用的角度来看,在规则格网的DEM数据中探测粗差相对简单一些,因而研究成果也相对丰富,如Hannah2(1981)的基于坡度信息算法,FolicSimon (1994)的统计参数法, 以及Lper3(1997) 的主成分分析法等等。如果原始DEM 为不规则数据,要转成规则格网点,则需经过数学内插的方法处理。在此过程中,原始数据中粗差点会影响到转换后的多个格网点,从而增加格网点粗差检测的难度。本文是在探讨常用的各种算法的基础上进一步描述基于趋势面的DEM粗差探测与剔除方法。2 DEM粗差探测与剔除方法研究2.1 基于三维可视化的DEM粗差探测与剔除通过地形表面的三维可视化建模来审查DEM中可疑数据点，从而剔除严重影响数据质量的粗差或者说错误。DEM有着非常适宜于建立3维可视化的特点，采用DEM3维可视化技术，该方法可以交互式的来检查DEM中出现的可疑数据，剔除严重影响DEM数据质量的粗差4。一般对于一个特定的研究区域，在三维透视图上可疑点是否表现为粗差非常直观，很容易据此作出正确地判断。实际上，由于DEM有着非常适宜于建立三维可视化的特点，所以可以首先通过目视效果对粗差进行检测。通常粗差的地形很不自然，因此在实际应用中，可以首先通过目视进行粗差的检测这种方法需要高效可靠的构网技术、快速的交互相应效率以及对异常值敏感的视化图形，如线框透视图、晕渲图等常用的可视化图形，在技术层面上，操作的经验和工作态度对结果也会有相当大的影响。三维可视化的前提是要建立数字地面模型，为了保证所分析都基于原始数据,可选的方法是直接利用原始数据建立不规则三角网络模型(Tin)。该方法不利因素在于，一方面需要高效可靠的建模技术以及可视化处理的策略;另一面，它仅适用于较大粗差的判释，对于中小粗差并不敏感。2.2 基于高程信息的不规则分布数据粗差检测与剔除呈散乱分布的数据点粗差探测技术在原理上与规则格网比较类似，但由于散乱分布的数据点的分布特征，坡度信息获取比较困难，具体实现上有两点不同:第一，窗口确定，在规则格网上采用3*3局部窗口是适宜的，但不规则分布点的邻域范围要进行指定，一般可采用窗口尺寸或窗口区域的采样点数量两种方式确定。第二，一致性标准确定，规则格网上比较容易获取坡度信息，而不规则分布上获取坡度信息比较困难，因此，由于高程和坡度同是刻画地形曲面连续性的指标，在散乱数据分布的区域上，高程信息取代坡度成为一致性标准。在每一个窗口中，用高程信息计算统计指标以及确定阂值，方法与规则格网类似。2.3 检测规则分布数据中粗差的算法2.3.1 基于坡度信息的粗差检测坡度是地表的固有属性，在局部连续空间的渐变模型上，坡度变化也是连的，因此可采用采样点与周围点的坡度变化是否一致来检测是否含有粗差，通以局部3*3窗口对每一采样点进行判断。其基本思想是对每个表面上的点，在坡度上，高程或突变量引起的形状不连续，可能被怀疑有误差，通过坡度上每个点，应用坡度逼近或改变量来计算，考虑坡度变化的相对值，并以这些相对值计算一个统计值为判断该点合法性的闽值，使计算结果更为可靠。如表1所示，P点在高程矩阵中的行列号为(I，J)，它的相临8个点1，2，3，4，6，7，8，9的行列号分别为:1点(I+1，J-l)，2点(I+1，J)，3点(I+，J+1)，4点(