大数据 及其在数字城管的应用探讨中国测绘科学研究院2014年5月15日洛阳目录 一、大数据二、大数据应用案例三、大数据在数字城管应用探讨什么是大数据 春运迁徙图春运迁徙图 根据2012年互联网络数据中心(IDC)发布的数字宇宙2020报告，2011年全球数据总量已达到1.87ZB(1ZB=十万亿亿字节)，并且以每两年翻一番的速度飞快增长。预计到2020年，全球数据总量将达到3540ZB，10年间将增长20倍以上。 大数据已成为信息主权的一种表现形式，将是继边防、海防、空防之后大国博弈的另一个空间大数据正在开启一次重大的时代转型，“它将改变人类的生活以及理解世界的方式2011年5月，在“云计算相遇大数据”为主题的EMCWorld2011会议中，EMC提出了BigData概念20世纪90年代，数据仓库之父的BillInmon就经常提及BigData什么是大数据大数据的大数据的4V特征特征容量、类型、速度和价值容量、类型、速度和价值 “大量化大量化(Volume)、多样化(Variety)、快速化(Velocity)、价值密度低（Value）”就是“大数据”的显著特征，或者说，只有具备这些特点的数据，才是大数据。处理大数据的一些相关技术处理大数据的一些相关技术存储存储 结构化数据海量数据的查询、统计、更新等操作效率低非结构化数据图片、视频、word、pdf、ppt等文件存储不利于检索、查询和存储半结构化数据转换为结构化存储按照非结构化存储处理大数据的一些相关技术处理大数据的一些相关技术分析分析数据处理自然语言处理技术统计和分析A/Btest;topN排行榜；地域占比；文本情感分析数据挖掘关联规则分析；分类；聚类模型预测预测模型；机器学习；建模仿真大数据分析三个阶段大数据分析三个阶段 n第一阶段：批量分析数据主要以来自内部结构化数据（如生产、管理数等据）为主n第二阶段：近实时分析数据分析类型从传统的结构化数据逐步演进为结构化，非结构化（音视频、社群等）和半结构化数据（包括系统日志、客户信息）n第三阶段：实时分析数据来源和种类更加丰富，不仅限于内部的生产数据、用户数据和社群网站，还会纳入来自于第三方数据（竞争实时监控，目标用户群体采购行为监控等）大数据应用平台大数据应用平台一体化一体化 大数据环境下的基础软件平台很像一个“泛OS”，以数据为中心，将操作系统、分布式存储、数据库等产品融合起来，对结构化、半结构化和非结构化等全数据进行高效存储与管理，并对应用提供统一的数据服务支撑接口国际上一体化融合的大数据处理平台已经成为主流趋势2013年，EMC公司发布了自身的ApacheHadoop发行版PivotalHDn大规模并行数据库技术与ApacheHadoop框架集成nHAWQ的技术，将Greenplum分析型数据库与Hadoop分布式架构进行紧密地融合，实现了HDFS上SQL并行数据库处理，提高了性能并使Hadoop平台与SQL开发者实现了接轨惠普则发布了大数据解决方案HAVEn分析平台n惠普大数据产品的组合n整合了Hadoop/HDFS、HPAutonomy语义处理引擎、HPVertica列存数据库、EntERPriseSecurity安全技术等形成大数据处理方案。国内，业界的主流思路用基于MPP架构的新型数据库集群(如EMCGreenPlum、南大通用GBase8a、HPVertica等)管理结构化大数据，侧重于行业大数据分析型应用场景用基于Hadoop的技术扩展和封装(如HBase数据库)管理非/半结构化大数据，侧重于互联网大数据应用场景MPP集群与Hadoop产品混搭部署、相互融合，共同支撑大数据应用。国家的大数据战略、信息安全战略，以及大数据行业应用引发了对国产大数据处理基础软件平台的强劲需求云计算分布式计算网格计算云计算局域网数据资源固定计算资源分布全网互联网数据资源、计算资源相对固定互联网数据资源、计算资源未知大数据与云计算大数据与云计算n大数据常和云计算联系到一起，因为实时的大型数据集分析需要分布式处理框架来向数十、数百或甚至数万的电脑分配工作。n如果数据是财富，那么大数据就是宝藏，而云计算就是挖掘和利用宝藏的利器！没有强大的计算能力，数据宝藏终究是镜中花；没有大数据的积淀，云计算也只能是杀鸡用的宰牛刀！n云计算充当了工业革命时期的发动机的角色，而大数据则是电。大数据与云计算大数据与云计算大数据与云计算大数据与云计算云计算本身也是大数据的一种业务模式云计算本身也是大数据的一种业务模式对大数据的一些思考 大数据究竟有多大？掌握更多的数据对于人类科学来说是一种进步,那有助于我们认识客观世界。研究人员只是从收集到的数据中提取了1%的数据进行分析。这1%被分析的数据支配了目前的大数据创新，被称为“大数据”。“大数据”其实并不大，与反映客观事物的真实数据还有很大的差距。“人们处理的数据从样本数据变成全部数据”的结论至少从目前的数据收集和分析能力来说是不可能实现的。对大数据的一些思考 大数据能让企业盈利吗？ 来源于互联网、传感器、流数据库、社会网络等方面的数据具有多样性和差异性,非常复杂，许多数据形式、结构都不同，有些数据甚至互相矛盾数据从采集、存储到分析都是要花钱的，收集、存储数据的成本很高，分析数据的成本更高数据挖掘项目不是一劳永逸的。模型出现偏差就不能再按原来的方案使用这个模型了，必须对模型进行调整企业必须了解业务人员的需要，再请数据分析师帮助解决问题对大数据的一些思考 大数据的分析真的很准吗？ 科学研究实际需要的数据有可能被人们收集的海量数据所淹没人类通过对大数据的处理，放弃对因果关系的渴求，转而关注相互联系。这一切代表着人类告别总是试图了解世界运转方式背后深层原因的态度，而走向仅仅需要弄清现象之间的联系以及利用这些信息来解决问题数据不懂社交、不懂背景，会制造出更多噪音，遗漏真正有价值的东西，大数据无法解决大问题在日常生活中，有很多收集不到的数据，但它们非常重要，起着决定性的作用对大数据的一些思考 大数据能绕过“隐私权”吗？ 在大数据时代，你透明的程度已经不取决于你了，你已经被大数据监控和记录了在大数据时代，无处不在的数据采集系统使每个人都是赤裸裸的，没有隐私，无处可藏。甚至掌握大量数据的分析系统比你更了解你自己75%的人不希望企业储存他们的个人信息，几乎90%的人反对企业跟踪他们的网络浏览记录人们必须用一种不仅欣赏其力量而且承认其局限的态度来接纳大数据 二、大数据应用案例大数据应用国外：被改变的政治与政府被改变的政治与政府一个略有被媒体夸大但基本属实的案例是，奥巴马今年成功连任美国总统，其背后那个几十人构成的数据分析与挖掘团队至关重要。奥巴马团队筹得的第一个1亿美金中，98%来自于小于250美金的小额捐款，而罗姆尼团队在筹得相同数额捐款的情况下，这一比例仅为31%。奥巴马胜选的原因不在于经济、外交政策或是妇女问题，而是赢在大数据！大数据应用国外：被变革的行业与产业被变革的行业与产业 雅虎于2008年初便开始启用大数据技术，每天分析超过200PB的数据，使得雅虎的服务变得更人性化，更贴近用户和客户亚马逊不仅从每个用户的购买行为中获得信息，还将每个用户在其网站上的所有行为都记录下来，这些数据的有效分析使得亚马逊对于客户的购买行为和喜好有了全方位了解，对于其货品种类、库存、仓储、物流、及广告业务上都有着极大的效益回馈。大数据应用国外：被变革的行业与产业被变革的行业与产业n谷歌在2009年，甲型H1N1流感爆发的几周前，互联网巨头谷歌公司的工程师们在自然杂志上发表了一篇引人注目的论文n和疾控中心一样，谷歌也能判断出流感是从哪里传播出来的，而且他们的判断非常及时，不会像疾控中心一样要在流感爆发一两周之后才可以做到n谷歌公司发现能够通过人们在网上检索的词条辨别出其是否感染了流感后，把5000万条美国人最频繁检索的词条和美国疾控中心在2003年至2008年间季节性流感传播时期的数据进行了比较n通过一个数学模型处理后，他们的预测与官方数据的相关性高达97%。n2009年甲型H1N1流感爆发的时候，与习惯性滞后的官方数据相比，谷歌成为了一个更有效、更及时的指示标。公共卫生机构的官员获得了非常有价值的数据信息。大数据应用国内：两会大数据关注度集中话题关注两会人群分布大数据应用国内：政府在国内，政府各个部门都握有构成社会基础的原始数据，比如，气象数据，金融数据，信用数据，电力数据，煤气数据，自来水数据，道路交通数据，客运数据，安全刑事案件数据，住房数据，海关数据，出入境数据，旅游数据，医疗数据，教育数据，环保数据等等。单一的，静态的。如果政府可以将这些数据关联起来，并对这些数据进行有效的关联分析和统一管理，这些数据必定将获得新生，其价值是无法估量的。大数据应用国内：行业n城市规划通过对城市地理、气象等自然信息和经济、社会、文化、人口等人文社会信息的挖掘，可以为城市规划提供决策，强化城市管理服务的科学性和前瞻性。n交通管理通过对道路交通信息的实时挖掘，能有效缓解交通拥堵，并快速响应突发状况，为城市交通的良性运转提供科学的决策依据。基于无锡移动通讯数据平台2013年11月至12月占无锡总人口78.4%的无锡移动505万手机用户连续不间断追踪动态采集无锡城市总体规划修编轨道网扩编规划重大规划提供科学依据大数据应用国内：行业n舆情监控通过网络关键词搜索及语义智能分析，能提高舆情分析的及时性、全面性，全面掌握社情民意，提高公共服务能力，应对网络突发的公共事件，打击违法犯罪。n安防与防灾通过大数据的挖掘，可以及时发现人为或自然灾害、恐怖事件，提高应急处理能力和安全防范能力。北京金融街北京金融街街道与北京街道与北京移动合作，移动合作，建成区域人建成区域人流量监控分流量监控分析系统，对析系统，对金融街核心金融街核心区的人员流区的人员流动情况进行动情况进行时时监控，时时监控，防止突发事防止突发事件的发生。件的发生。 三、大数据在数字城管应用探讨应用探讨多因素分析系统内部的案件数据、其他部门数据、空间数据关联分析等的关联分析流动商贩问题（时间、周边居民区构成、周边市场超市分布）黑车问题（时间、周边居民区空间分布、居民构成、公交线路分布、公交车间隔）找出产生的原因，提出解决的方案供领导决策参考应用探讨时空分析时间段跨度超过年案件发生的规律、跟时间空间的关系，尤其是周期性的高发案件的分析。黄山景区人流预测，一般准确率在80%-90%预测同类案件可能发生的时间地点做好预案、从容应对应用探讨视频立案应用探讨视频立案禁区检测，过线检测，人员聚集检测，违法违规行为检测，人员徘徊检测等一系列智能分析。减少视频监督员的工作量，分析出可能的问题，人工在核实应用探讨省级中心数据云存储地市数字化城管中心智能分析案件、时间、空间评价省对地市、部门的综合评价应用探讨社会服务北京市东城区社区安全监控系统利用物联网对社区内餐馆、居民的天然气、用电等进行监控，保证社区安全居民用电分析，提供节电措施 谢谢！