,大数据企业架构讨论,案例研究：智慧交通,大数据实时处理和分析 目的：提高城市交通的科学管理和组织服务水平,业务目标 智能交通数据的有力支撑 智能交通公共信息服务的实时传递和快速反 应的应急指挥 智能交通业务联动快速应对变化 可视化事件跟踪,挑战 近千万辆轿车、轨道交通、快速公交系统 高并发事件及数据流的实时处理 海量非结构化大数据的组织与分析, 压力传感器 传感 速度传感器 器 生物传感器 温度、湿度,RFID, 射频天线扫描 电子标识,摄像 高速拍照 头 高清摄像头,3,车地双向实时无线通信网数传电台,政府专网,Internet,GPRS/CDMA/3G/Wi-Fi/WiMax光纤TCP/IP,公路可视化综合信息平台 雷达测速GIS,公共交通运营管理平台 监控车次号识别 紧急救援CBTC 旅行时间路径识别,城市综合信息管理平台,通信,ETC,PIS,信号,BRT,公交调度管理,电警,接处警卡口,交通诱导信号控制 出行者信息系统,视频监控,智能停车场,电子站牌,事件检测,用户服务,政府企业,个人,公共,感知层/ 信息采集,网络层/ 信息传输,应用层/ 信息处理,水运综合管理平台,ITS智能交通物联网平台,交通行业,信息服务,智能交通整体规划架构,铁路综合管理平台,4, 深度分析 敏捷开发 高度扩展性 实时分析结果,大吞吐量 实时准备 所有的数据源及数据结构, 低延时 高并发的交易 高度灵活的数据结构,数据获取,数据传输,数据处理,数据是智能交通的核心,数据获取,数据传输数据处理,People.Process.Portfolio.,Discussion,实时事件处理 概念图解,业务场景 重要车辆监控 交通诱导 出行者信息, 技术机遇 实时处理大数据量 合并历史事务和实时事务,架构决策 实时流 利用现有分析 最大限度地减少数据移动,实时,批处理,流 （CEP 引擎）,警报 BPEL 移动 信息板 数据库,NoSQL,HDFS,实时分析数据流,实时数据源,CEP,RDBMS 实时位置,NOSQL,外部数据库 黑名单,小型机 历史事务,备份 历史配置文件,RDBMS 事务,历史数据源,计算配置文件,实时事务 （基于消息）,Hadoop 集群,事件处理,规则和结果,关联和分析 概念图解,NoSQL,BI 平台与分析,业务机会 行车路线建议 信号控制 交通流量分析,技术选择 将缩减结果集成到关系数据 库 构建另一个环境 手动关联,架构决策 使用集成元数据 使用标准 BI 平台 最大限度地减少数据移动,数据仓库,数据集市,数据库中的 分析,MapReduce,HDFS,实时处理和分析 逻辑图解,关键组件,Oracle 大数据机 Oracle Exalogic Oracle CEP/Coherence Oracle SOA Suite Oracle 大数据连接器 Oracle Exadata Oracle Advanced Analytics Oracle Exalytics Oracle BI Foundation,Oracle 大数据机,Oracle 大数据连接器,Oracle Exadata,Oracle Exalytics,InfiniBand,Infini,Band,Oracle Advanced Analytics,Oracle BI,HDFS 和 NoSQL MapReduce,CEP/SOA Coherence,消息流,Oracle Exalogic,People.Process.Portfolio.,Discussion,问题, 请为自己公司/单位设计一个大数据的解决方案。分组讨,论结束之后，每组派一到两个代表上来讲一下这个方案 A) 公司里存在哪些数据 结构化/多结构化/大小/实 时数据/流式数据 公司是否已经应用了非关系型数据库 B)那些业务考虑引入大数据 C)有了这些大数据，如何设计公司的大数据平台 D)公司数据的问题或者远景 企业的数据架构远景,岳.,。,同ACL1,a: .a吕.S,案例：Facebook数据仓库架构,HadoopFacebook 世界上第二大Hadoop集群 用于处理 log 和dimension data Use Case 从大量数据中产生每天和每小时的汇总. 在历史数据中执行 ad hoc jobs 事实上作为一个长期的数据归档 根据特定属性来查找log, 可用于维护站点的 一致性，保护用户免受垃圾邮件影响,13,Hadoop Map/Reduce实时分析 真实情况,Real time(msec/sec),Near real time(Min/Hours),Batch(Days.),实时分析 传统的分析应用,垂直扩展(Scale-up)数据库 使用传统的SQL数据库 使用存储过程生成事件驱动报表 使用闪存盘，以减少磁盘I/O 使用只读副本横向扩展(Scale Out)只读查询 限制： 无法写扩展 昂贵的成本(HW&SW),实时分析 Complex Event Processing(CEP),当数据到来时立即处理数据 维护内存数据窗口 优势： 延迟极低(mS级) 相对低的成本 劣势： 难于扩展(横向扩展局限) 不敏捷（查询必须预生成）,实现非常复杂,实时分析 In Memory Data Grid,分布式内存数据网格 横向扩展(Scale out) 优势： 读/写可扩展 适合事件驱动(CEP style),ad-hoc查询模式 劣势： 相比磁盘，内存成本昂贵, 内存容量有限,实时分析 No SQL,使用分布式数据库 Hbase, Cassandra, MongoDB 优势： 读/写可扩展 海量数据支持 弹性 缺点： 读延迟，实时性差 弱数据一致性 不成熟-非常新的技术,Facebook实时分析系统（实时+批量）,Memory Grid,PTail Puma3,Facebook实时分析- Put all together,内存数据网格 实时处理网格 轻量级事件处理 Map-Reduce 事件驱动 代码随数据执行 基于交易 安全 弹性 NoSQL数据库 低成本存储 读/写扩展能力 动态扩展 裸数据和汇总数据,部分网站大数据实时分析架构,Storm + Pig + Vertica +Cassandra+ MySQL,S4 + HBase/Cassandra + MySQL,Kafka + Dynamo + MySQL,