大数据时代,大数据技术和应用,一.什么是大数据？,大数据的概念 大数据(big data,mega data)，或称巨量资料，指的是需要新处理模式才能具有更强的决策力、洞察力和流程优化能力的海量、高增长率和多样化的信息资产。 大数据的4V特点 Volume(大量) Velocity(高速) Variety(多样) Value(价值),大数据的4V特性,大数据的4个“V”，或者说特点有四个层面： 第一，数据体量巨大。从TB级别，跃升到PB级别；位、bit (比特，BinaryDigits):存放以为二进制数，即0或1，最小的存储单位。字节 byte:8个二进制位为一个字节(B)。(1KB=1024B 1MB=1024KB 1GB=1024MB 1TB=1024GB 1PB=1024TB 1EB=1024PB 1ZB=1024EB 1YB=1024ZB 1BB=1024YB) 第二，数据类型繁多。网络上提到的网络日志、视频、图片、地理位置信息等等。 第三，价值密度低。以视频为例，连续不间断监控过程中，可能有用的数据仅仅有一两秒。 第四，处理速度快。1秒定律。最后这一点也是和传统的数据挖掘技术有着本质的不同。业界将其归纳为4个“V”Volume，Variety，Value，Velocity。,大数据的收集方式,物联网 云计算 移动互联网 车联网 手机、平板电脑、PC 遍布地球各个角落的各种各样的传感器,大数据的收集方式,物联网、云计算、移动互联网、车联网、手机、车联网、PC以及遍布地球各个角落的各种各样的传感器，无一不是数据来源或者承载的方式。,大数据领域的技术,Hadoop Hadoop是一个由Apache基金会所开发的分布式系统基础架构。Hadoop 是一个能够对大量数据进行分布式处理的软件框架。但是 Hadoop 是以一种可靠、高效、可伸缩的方式进行处理的。Hadoop 是可靠的，因为它假设计算元素和存储会失败，因此它维护多个工作数据副本，确保能够针对Hadoop失败的节点重新分布处理。Hadoop 是高效的，因为它以并行的方式工作，通过并行处理加快处理速度。Hadoop 还是可伸缩的，能够处理 PB 级数据。此外，Hadoop 依赖于社区服务器，因此它的成本比较低，任何人都可以使用。,Hadoop原本来自于谷歌一款名为MapReduce的编程模型包。谷歌的MapReduce框架可以把一个应用程序分解为许多并行计算指令，跨大量的计算节点运行非常巨大的数据集。 Hadoop得以在大数据处理应用中广泛应用得益于其自身在数据提取、变形和加载(ETL)方面上的天然优势。Hadoop的分布式架构，将大数据处理引擎尽可能的靠近存储，对例如像ETL这样的批处理操作相对合适，因为类似这样操作的批处理结果可以直接走向存储。Hadoop的MapReduce功能实现了将单个任务打碎，并将碎片任务(Map)发送到多个节点上，之后再以单个数据集的形式加载(Reduce)到数据仓库里。,它主要有以下几个优点： 高可靠性。 Hadoop按位存储和处理数据的能力值得人们信赖。 高扩展性。 Hadoop是在可用的计算机集簇间分配数据并完成计算任务的，这些集簇可以方便地扩展到数以千计的节点中。 高效性。 Hadoop能够在节点之间动态地移动数据，并保证各个节点的动态平衡，因此处理速度非常快。 高容错性。 Hadoop能够自动保存数据的多个副本，并且能够自动将失败的任务重新分配。,Storm 什么是Storm？ 如果只用一句话来描述storm的话，可能会是这样：分布式实时计算系统。按照storm作者的说法，storm对于实时计算的意义类似于hadoop对于批处理的意义。 在淘宝，storm被广泛用来进行实时日志处理，出现在实时统计、实时风控、实时推荐等场景中。一般来说，我们从类kafka的metaQ或者基于hbase的timetunnel中读取实时日志消息，经过一系列处理，最终将处理结果写入到一个分布式存储中，提供给应用程序访问。我们每天的实时消息量从几百万到几十亿不等，数据总量达到TB级。对于我们来说，storm往往会配合分布式存储服务一起使用。在我们正在进行的个性化搜索实时分析项目中，就使用了timetunnel + hbase + storm + ups的架构，每天处理几十亿的用户日志信息，从用户行为发生到完成分析延迟在秒级。,其他大数据技术,Apache Drill 为了帮助企业用户寻找更为有效、加快Hadoop数据查询的方法，Apache软件基金会近日发起了一项名为“Drill”的开源项目。Apache Drill 实现了 Googles Dremel. RapidMiner RapidMiner是世界领先的数据挖掘解决方案，在一个非常大的程度上有着先进技术。它数据挖掘任务涉及范围广泛，包括各种数据艺术，能简化数据挖掘过程的设计和评价。 Pentaho BI Pentaho BI 平台不同于传统的BI 产品，它是一个以流程为中心的，面向解决方案(Solution)的框架。其目的在于将一系列企业级BI产品、开源软件、API等等组件集成起来，方便商务智能应用的开发。 HPCC HPCC，High Performance Computing and Communications(高性能计算与通信)的缩写。1993年，由美国科学、工程、技术联邦协调理事会向国会提交了“重大挑战项目：高性能计算与 通信”的报告，也就是被称为HPCC计划的报告，即美国总统科学战略项目，其目的是通过加强研究与开发解决一批重要的科学与技术挑战问题,大数据的应用,大数据在风电领域的应用 首先，结合了大数据分析和天气建模技术的能源电力系统能够提高风电的可靠性。以往对风资源的预测不够精准，在风能无法贡献预期功力时，火电就要作为后备电力。这样，电网对风电的依赖程度越高，需要建设后备电站的成本就越高。另外，启用火电站的就等于向环境中释放碳排。然而，在大数据分析的帮助下，温度、气压、湿度、降雨量、风向和风力等变量都得到充分考虑，对风电的预测更加精准。电网调度人员可以提前做好调度安排，也有助于电网消纳更多风电。 除了做到更精准的预测，检测和采集风机的运转数据、风场的运营数据还有利于风机制造商更好地改善风机的性能，风电场业主在追求风场效益最大化时也离不开大数据。,大数据的核心价值,大数据的核心价值是什么？ 无论是大数据在农业的应用也好，工业的应用也好，抑或是在金融行业的应用也好，最终都是通过大数据技术来获知事情发展的真相，最终利用这个“真相”来更加合理的配置资源。 也就是说大数据的核心价值就是：优化资源 配置,大数据的核心价值,网上相关研究表明： 要实现大数据的核心价值，还需要前两个重要的步骤 第一步是通过“众包”的形式收集海量数据， 第二步是通过大数据的技术途径进行“全量数据挖掘”，最后利用分析结果进行“资源优化配置”。,通过“众包”产生和收集数据 高德地图、百度地图都有实时路况的功能，但大家有没有想过实时路况的数据是怎么收集的？实际上经过了三个阶段，开始是跟交通口的一些公司合作，获取交通流量监测设备的数据，这个方法缺陷很明显，一个是受制于人，一个是想扩大监测范围就要部署大量设备，费时费力，而且还受法律制约。于是一些专门做路况的公司开始用出租车当浮动车收集数据。但这种办法还是无法覆盖大量的大小路段，随着移动互联网的普及，高德地图的APP能够实时上传大量机动车的速度和位置信息，经过去噪和综合分析，就形成了覆盖率极高的实时路况信息。这就是一个典型的“众包”过程。,通过“全量数据挖掘”获知“真相” 这些数据不是通过采样得来的，就是真真切切的“全量数据”。我们再也不用通过“管中窥豹”的形式来推测全局，而是直接通过“上帝视角”来窥视真相。这就是大数据的魅力，我们获得了前所未有的获取真相的能力，而且对于大型互联网公司来说，即使是PB级别的数据分析也是准实时的，我们下一个小时就能够得知上一个小时的全量数据分析结果，这样的能力是前所未有的。,大数据的核心价值“资源优化配置”,前段时间，滴滴打车曾通过投票和订单分析的方式得出了北上广深四地的加班大楼排行榜。但事实真的是即使加班很晚也很难打到车啊啊！所以滴滴打车更名为“滴滴出行”之后，也抛出了他们伟大的愿景，那就是利用大数据分析实时综合调度“快车”、“专车”、“出租车”、“顺风车”甚至是滴滴巴士的资源，实现全局的交通资源优化。事实也是如此，滴滴的司机们越来越多的需要完成“指派任务”，而不是集中去抢高净值客户。也许对于个别单体来说他们的利益降低了，但全局的资源配置却避免了全局的资源浪费和过度竞争，无疑大大提高了交通资源的使用效率。所以我们说，基于大数据分析的结果，进行资源优化配置，才是大数据应用的落地点和真正价值。,谢谢观看！,MapReduce是一种编程模型，用于大规模数据集(大于1TB)的并行运算。概念Map(映射)和Reduce(归约)，和它们的主要思想，都是从函数式编程语言里借来的，还有从矢量编程语言里借来的特性。它极大地方便了编程人员在不会分布式并行编程的情况下，将自己的程序运行在分布式系统上。 当前的软件实现是指定一个Map(映射)函数，用来把一组键值对映射成一组新的键值对，指定并发的Reduce(归约)函数，用来保证所有映射的键值对中的每一个共享相同的键组。,返回,分布式处理,分布式处理(distributed processing)和并行处理(Parallel processing)是为了提高并行处理速度采用的两种不同的体系架构。 并行处理是利用多个功能部件或多个处理机同时工作来提高系统性能或可靠性的计算机系统，这种系统至少包含指令级或指令级以上的并行。 分布式处理则是将不同地点的，或具有不同功能的，或拥有不同数据的多台计算机通过通信网络连接起来，在控制系统的统一管理控制下，协调地完成大规模信息处理任务的计算机系统。,返回,