多源遥感卫星产品 集群处理环境,目 录,一,二,遥感产业现状和发展重点,三,多源卫星遥感卫星产品集群处理环境,2,国家与区域发展战略需求,3,一、国家与区域发展战略需求,“十二五”国家战略性新兴产业发展规划提出支持海量数据存储、处理技术的研发与产业化。围绕产业链上下游，大数据必将带动智能终端的普及应用、物联网、云计算等产业的蓬勃发展。 据统计，2010-2015年全球大数据市场年均复合增长超过50%。全球著名信息技术研究和咨询的公司高德纳公司(Gartner)发布报告预测，2013年大数据对全球IT开支的直接或间接推动将达960亿美元，到2016年，这一数字预计将达到2320亿美元。,4,一、国家与区域发展战略需求,通过与近60个国家、40多亿人口建立广泛的沟通和协作机制，有助于中国获得外部资源，同时也可以帮助中国商品、资本和适用性技术的输出。,2013年10月，习近平在出席APEC领导人非正式会议期间提出了中国愿同东盟国家加强海上合作，共同建设“21世纪海上丝绸之路”的倡议。,5,一、国家与区域发展战略需求,国家地理信息产业发展规划（2014-2020年） (发改地区20141654号) 规划强调到2020年，形成一批具有较强国际竞争力的龙头企业和较好成长性的创新型中小企业，拥有一批具有国际影响力的自主知名品牌。产业保持年均20%以上的增长速度，,广东区域发展战略：海洋发展战略、广东自贸区，区域协调发展，经济结构调整,战略性新兴产业（高端装备制造业）：，卫星及其应用产业发展，,这么多需求怎么响应？,目 录,一,二,遥感产业现状和发展重点,三,多源卫星遥感卫星产品集群处理环境,6,国家与区域发展战略需求,“要”发展,卫星应用作为战略性新兴产业的主要代表和重要力量之一，将对其他行业的发展有重要的引领性，将带动我国经济发展方式的转变、产业结构的调整，为航天产业发展创造良好的政策环境。对于促进行业和区域发展，维护国家安全和社会经济发展具有重要性。,“能”发展,卫星研制生产已形成系列化，高分对地观测系统正在建设，航天遥感正实现从试验应用型向业务服务型转变，卫星应用产业有巨大的可行性。,“快”发展,我国自身遥感卫星应用技术的发展具有迫切性。国内各层次用户需求强烈，国际合作与竞争双激烈，面对国际、国内2个市场，我国卫星应用快速产业化迫在眉睫。,7,二、遥感产业现状和发展重点,卫星遥感信息已成为不可或缺的战略和经济资源 未来5-10年自主遥感卫星数据呈爆炸性增长 遥感卫星获取的高分辨率数据在应用领域的作用亟待发挥 遥感卫星应用产业蕴藏着巨大的跨越式发展机遇,提升遥感卫星数据处理、信息提取、应用转化能力，解决自主共性关键技术、降低遥感应用门槛， 形成自主遥感卫星应用标准化信息产业链。,国家中长期规划20个专题有9个急需遥感信息 全球100余颗在轨, 十一五中国75颗 每颗卫星在轨一天约耗费100万 16个重大专项有2个涉及遥感 高分专项预计发射7颗卫星,8,二、遥感产业现状和发展重点,100颗卫星怎么用？,9,9,问题的提出 服务需求 规划决策、商务应用、出行参考， 理论突破 大数据、层级理论、定量遥感， 技术进步 卫星制造、计算机与网络技术，信息挖掘， 产业发展 RS +GIS+GPS+LBS，,单星为百应用服务 百星为单应用服务 百计算机为单用户服务 单计算机为百用户服务,二、遥感产业现状和发展重点,定自有标准 研制自主遥感卫星应用数据产品与服务标准 开发支持标准贯彻的自主工具软件产品 建设自主标准研制与宣贯技术支撑系统 成自主体系 卫星遥感信息获取技术体系 卫星遥感信息处理与加工技术体系 卫星遥感应用分析模型体系 卫星遥感信息质量体系 卫星遥感信息典型应用示范体系,10,产业发展重点,二、遥感产业现状和发展重点,建自主平台 建立自主开放式网络化工作平台 建立自主卫星数据接收处理验证平台、信息产品验证平台、业务化应用效能验证平台、真实性检验平台 设自有基地 卫星遥感应用产业化共性自主核心技术研发基地 卫星遥感应用自主技术成果转化基地 卫星遥感应用产业化人才培养基地,11,二、遥感产业现状和发展重点,产业发展重点,目 录,一,二,遥感产业现状和发展重点,三,多源卫星遥感卫星产品集群处理环境,12,国家与区域发展战略需求,13,基于瓦片数据结构的大数据处理流程是整个数据与信息产品集成共享工具的支撑，为数据与信息产品集成共享提供文档、数据、模型算法、工具、软件模块等资源的集成与共享分发，支持模型算法、软件工具的集成测试。,基础大平台处理流程,三、多源卫星遥感卫星产品集群处理环境,14,基础大平台标准架构,以流程标准化为基础 实现系统构建标准化,三、多源卫星遥感卫星产品集群处理环境,15,规格化空间分辨率层级体系,发明专利：“一种基于经纬网格的数据分级组织方法 ” 专利授权号 ZL 201010241105.8,大数据组织管理-遥感数据组织标准化,三、多源卫星遥感卫星产品集群处理环境,16,自主瓦片云存储平台是针对遥感大数据处理特定，面向瓦片数据，自主研发的高效云存储平台，包括一整套全新的数据组织模型、存储模式、处理模式、应用模式、管控模型等技术，具备海量数据分布式存储、并发快速计算检索、数据直接寻址等特点。,大数据组织管理-瓦片自主云存储,三、多源卫星遥感卫星产品集群处理环境,17,三、多源卫星遥感卫星产品集群处理环境,GF数据格式,18,服务支撑环境,针对高分应用共性技术推广服务适配的 硬件服务架构“小巨人”一体机 通信立方体 计算立方体 存储立方体,三、多源卫星遥感卫星产品集群处理环境,19,三、多源卫星遥感卫星产品集群处理环境,预处理,GF1数据处理与服务： 在线服务支持100个以上的用户； 准数据获取能力每10平方公里1分钟； 标准数据分析处理能力每10平方公里5分钟,性能测试,20,预处理工具,预处理是将原始数据“切割”成GFF标准“景”的工具。在预处理过程中，考虑影像整体几何、辐射特性，将其离散到每一个瓦片，使瓦片保留原始影像中的几何、辐射特征，为后面的反演、产品生产提供必要参数。 预处理包括四个步骤：云检测、几何校正、大气校正、数据标准化。 由于是针对原始影像的操作，为了提高处理效率，在充分分析算法模块的基础上，对原本算法进行了GPU加速优化。,三、多源卫星遥感卫星产品集群处理环境,环境详情,21,大区域多要素定量化遥感大数据处理具有任务复杂、数据量大的特点，需要通过集群环境实现高性能计算，满足遥感大数据产品生产的高时效性需求，实现了数据并行和任务并行相融合的自适应并行处理机制。,图1 任务并行处理流程,图2 数据并行处理流程,运行网络拓扑,集群计算-工具箱与智能调度,三、多源卫星遥感卫星产品集群处理环境,环境详情,22,面向五层十五级遥感标准化数据，通过整合计算资源、存储资源、服务资源，以标准化数据本地处理、产品本地存储、独立服务等方法，最大限度降低对系统架构的I/O传输，更充分地利用了存储服务器的计算资源、计算服务器的存储资源，从而提高平台整体处理时效。,集群计算-计算存储一体化架构,三、多源卫星遥感卫星产品集群处理环境,环境详情,23,人工驱动模式 人工方式选择数据，处理数据，分析数据及发布数据。 数据驱动模式 自动化处理直接推送的数据。 订单驱动模式 根据用户所下订单处理数据。 程序驱动模式 将生产的过程信息及参数信息存入二维码，系统可根据二维码记录遥感产品生产过程中的处理步骤和参数，通过类语言引擎自动解译驱动系统重复产品生产过程；另一方面也可直接通过编程方式借助类语言引擎完成生产过程的重组。,三、多源卫星遥感卫星产品集群处理环境,集群计算多模式系统复合驱动,环境详情,24,层级分类操作流程,综合数据库瓦片数据立方体,分类工具,分类工具,分类工具,基于瓦片的协同分类,基于瓦片的协同标绘,瓦片汇总的线画图,简报,应用分析,三、多源卫星遥感卫星产品集群处理环境,环境详情,25,应用处理系统提供基于用户需求、灵活的规模化生产平台解决方案。为用户提供完备的应用产品生产线，涵盖从数据整理、加工、到标准产品发布的全套自动化处理流程。在为用户提供高质量和高精度的处理服务同时，更满足高生产效率的要求。 遥感所研发的应用处理系统按照处理规模分为基本版、增强版和企业版。 基本版：需要3个岗位以确保系统的正常运行。其中 ，整编生产岗位1个，数据库与服务岗位1个，生产线与分类岗位1个。 增强版：需要10个岗位以确保系统的正常运行。其中，整编生产岗位3个，数据库与服务岗位2个，生产线与分类岗位5个。 企业版：需要30个岗位以确保系统的正常运行。其中，整编生产岗位10个，数据库与服务岗位5个，生产线与分类岗位15个。,基本版应用处理系统 （岗位数为三人版）,增强版应用处理系统 （岗位数为十人版）,企业版应用处理系统 （岗位数为百人版）,通讯立方体,计算立方体,存储立方体,形成了面向共享服务的一体化平台,三、多源卫星遥感卫星产品集群处理环境,26,三、多源卫星遥感卫星产品集群处理环境,专题应用系统,具有从仿真分析，数据管理，快速处理，信息提取，决策支持的技术储备与工具产品。,27,三、多源卫星遥感卫星产品集群处理环境,专题应用系统农业应用,南方早稻遥感识别与面积信息提取 利用2013年6月19日单时相GF-1卫星8m影像识别湖南省北部主产区早稻面积,GF-1 PMS2,一季稻,早稻,水体,GF1_PMS2_20130619,产品列表,28,三、多源卫星遥感卫星产品集群处理环境,专题应用系统环保应用,矿区固体废弃污染源分布,产品列表,29,三、多源卫星遥感卫星产品集群处理环境,专题应用系统林业应用,产品列表,30,三、多源卫星遥感卫星产品集群处理环境,专题应用系统国土应用,分类体系：城镇村及工矿用地、耕地、交通用地、园林地、水域,土地利用现状解译,产品列表,31,门户,监控视图,预处理,三、多源卫星遥感卫星产品集群处理环境,专题应用系统区域综合应用,32,分析,制图,简报,三、多源卫星遥感卫星产品集群处理环境,专题应用系统区域综合应用,33,三、多源卫星遥感卫星产品集群处理环境,地面场景重建,卫星组网仿真,专题应用系统仿真应用,三、多源卫星遥感卫星产品集群处理环境,高分应用技术中心,GFF“标准数据”产品,技术工具,遥感集市,以高分应用技术中心的技术积累，增加“遥感集市”服务能力、提升遥感应用服务水平，共同支持民用航天应用产业的发展。,谢 谢！,35,