2014/5/9Inspur group大数据技术在油气勘探的应用方案浪潮集团行业应用技术总监 郑贵德22014/5/9Inspur group国际数据公司（IDC）的研究结果表明，整个人类文明所获得的全部 数据中，有90%是过去两年内产生的。而到了2020年，全世界所产生 的数据规模将达到今天的44倍石油行业销售ERP系统管理8600万吨/年的成品油销售业务，年处理 3450万张单据，勘探与生产方面有24万口油气水井;炼油与化工方面有 1119套炼化装置 业内人士指出，“石油工业是信息工业”，很少有其他工业领域像石油工 业这样更依赖于数据社会趋势行业趋势大数据时代32014/5/9Inspur group数据量大：以地震波反射方式来收集海量数据为例，每次采集的二 维数据可达12TB，三维数据可高达几百TB甚至PB级，四维数据 将更加庞大石油物理勘探的地震波法所得到的数据量非常庞大,是现今三大大型 计算领域之一计算量大：以叠前时间偏移为例，一个地震道的输出需要至少1000 万道甚至更多（偏移孔径决定）的输入道，每一个点要做两次均方 根运算以及两次加法运算，振幅补偿两次乘法运算。以1毫秒采样 ，6秒数据为例，实现一道偏移需要1000000x60002(平方+加法+ 乘法)次数学运算，计算量和需要处理的数据量都极其巨大！油气勘探大数据42014/5/9Inspur group解决性能主要途径小型机集群系统偏移算法遗传 算法有限元法波动方程算法.并行计算传统计算模式扩展能力局限 投入成本高并行计算效率提高难 空间占用大关注问题发展趋势?大数据技术52014/5/9Inspur group油气勘探分布并行计算解决方案62014/5/9Inspur group油气勘探分布并行计算网络拓扑结构NameNodeDataNodeMasterNodeRegionNode72014/5/9Inspur group并行分布技术架构优势高性能：自动实现大规模数据分布并行计算，高效实现大规模数据 读取高可扩：在可用的计算机集簇间分配数据完成计算任务，这些集簇 可以方便地扩展到数以千计的节点中高效性：能够在节点之间动态地移动数据，以保证各个节点的动态 平衡，处理速度非常快高容错性：自动保存数据的多份副本，并且能够自动将失败的任务 重新分配经济性：系统软件开源，应用软件开发简化。通过X86系列组成的集群系统，和小型机相比成本优势明显82014/5/9Inspur group基于大数据一体机的油气勘探技术架构示意92014/5/9Inspur group大数据一体机物理示意 可根据负载需求扩展节点，理论上数据节点数量可扩至4000个，存储容量可相应增长，至少满足PB级大数据 分布存储 在Hadoop技术框架的基础上提供并行处理及IO优化 可实现户外计算应用 单节点可支持配置：8路CPU, 128G内存，32TB硬盘10 浪潮大数据应用-卡口与智能交通监控卡口1监控卡口2监控卡口3监控卡口41亿/天车 行轨迹2300万 车辆信息9000千 万人口3000万驾 驶员卡口信息： 牌号：鲁F123* 车型：解放j6p 颜色：蓝色 位置：济南经十山大路口 方向：自西向东 时间：2013.2.5 8:45:30全省17地市交通卡口 每天采集行车记录数 将近1亿条云计算数据中心根据牌号比对车辆行驶信 息查找嫌疑车辆监控卡口.大数据的分析计算车牌号车型颜色距离.卡口信息 卡口信息卡口信息卡口信息卡口信息数据调取数据调取计算 结果11 浪潮大数据应用-推荐服务12 浪潮大数据应用-淘宝天猫双11数据分析税务云平台，350.4亿元天猫商城 241.9亿元淘宝集市108.5亿元阿里官方公布，淘宝和天猫销售额350.19亿2013年全国双十一数据C2C模式暂不收税，税务云平台仅采集天猫商城交易明细数据。电商大数据采集云平台双十一运行情况13 浪潮大数据应用-电商平台税务局端数据比对纳税人 税号纳税人名称网店不含税 销售额（元）申报额 （元）差异率33026458 杭州向上电子商务有限公司239,257,654 108,374 100%33061404 杭州手拉手电子商务有限公司91,847,718 0 100%33090156 杭州共海服饰有限公司5,372,567 9,089 100%33087203 杭州秋果服饰有限公司5,251,854 690 100%33045893 杭州简正电子商务有限公司4,467,420 58,252 99%33041333杭州兰帕达体育用品有限公 司4,418,967 111,474 97%3304745X 杭州维欧艾服饰有限公司23,915,545 7,251,256 70%33052053 杭州老板电器股份有限公司13,433,295 231,833,016 -1626%2013年10月份杭州市B2C网店（天猫）销售和申报数据比对：142014/5/9Inspur group谢谢 大家!