吕卫锋 北京航空航天大学 2013年8月智慧城市系统中的大数据内容提要智慧城市中的大数据技术挑战2移动大数据感知处理与服务技术实践3中国智慧城市理念和技术基础1国家智慧城市建设思路v国家发展战略：“要围绕经济社会发 展需要，特别是协调推进新四化 ，发展和提升服务业，促进工业化 和信息化深度融合、新型城镇化和 农业现代化相辅相成”。 v十二届全国人大一次会议通过的 政府工作报告指出： 提高城市建设和管理科学化水平，要 把生态文明理念和原则全面融入城镇 化全过程，走集约、智能、绿色、低 碳的新型城镇化道路。智慧城市的建设目标v新一代信息技术创新应用于城市转型发展深度融合的 产物v城市走向绿色、低碳、可持续发展的本质需求；v推动政府职能转变、推进社会管理创新的的新手段和 新方法；v以人为本，突出为人服务，是智慧城市的核心体现。- 摘自指导意见国家智慧城市建设重点v未来中国城镇化的核心将是“人”的城镇化，实现从“以物为主”向“以人为本”转变v围绕“人”的信息资源，作为城市经济社会发展的重要要素，将提高信息资源的开发水平作为提升城市竞争力，促进城市发展的重要手段物联网为核心的深度感知技术飞机扫描车载激光扫描摄像头智能监控卫星遥感人口、车辆信息动态分布传统电信网络高精度三维建模高性价比的云计算新服务v大数据时代：提供基本处理能力，但不保障服务质量 v云计算：基于数据中心、强调性价比、效能和可信的 服务运营模式 从新视角（借鉴电力革命）整合与供给现有信息技术 既提升高端计算的利用率和易用性，又提升低端计算的事务 处理能力 “信息技术作为基础设施”的新里程碑核心技术：虚拟化(virtualization)采用独占性、隔离性、伸缩性的资源管 理方式 最早见于操作系统的硬件管理，随后延 伸到软件资源管理部署运行部署 运行“聚合式”虚拟化“分割式”虚拟化人SIM卡硬件 设备应用 软件操作 系统蓝牙通信WiFi音乐拍照支付聊天游戏导航工作地居住地生活圈终端 状态出行 轨迹出行 方式客户 来源驻留 信息 交际圈基本属性 用户基本的终端硬件、软件信息 随身携带用户应用 用户业务应用信息 网络数据、位置信息属性数据 用户属性分析信息：出行链、生活圈、出行特征、位置属性等“智慧”来源于数据以人为核心的智慧城市要解决对人及周边环境的感知、处理与服务以数据为核心的建设思想The Economist, Data, Data Everywhere. Feb.2010, Data Economy真理尽在数据中经济市民数据生产资料中首次出现非物质成分：数据 资本经济时代 数据经济时代内容提要智慧城市中的大数据技术挑战2移动大数据感知处理与服务技术实践3中国智慧城市理念和技术基础111大数据处理改变经济和社会方式大数据处理挑战转变1:从抽样到全样 大数据数量大，数据 统计特征分布不均匀 ，传统采样方法不适 用 案例：Google流感预测 采用搜索数据取代抽样转变2:从精确到非精确 大数据下精确性不再是 绝对追求目标，需对宏 观趋势给出快速预测 案例：搜索与推荐系统只 需返回前几项转变3:从因果到关联 仅需知其然，无需知 其所有然，用于“发 现事实、预测未来” 案例：沃尔玛综合商业 、Twitter和Facebook数 据大数据将对经济社会和科学研究发展具有重要意义， 但，如何从大、快、杂的数据中快速挖掘关联关系 面临诸多挑战！互联网改变 、 交流方式- 摘自怀进鹏院士报告科学问题大数据计算：科学挑战可计算 （量效均衡）可表示 （量化表示）可操作 （存算联动）Inexact 近似性Incremental 增量性Inductive 归纳性大数据计算特征 = 3I数据特征12- 摘自怀进鹏院士报告大数据技术现有产品布局挑战1： 多模式城市数据汇聚与关联路标标识房屋标识基础设施 标识道路标识车辆标识特殊位置 标识 事件信息车位信息路况信息能耗信息设备标识 基于实体识别的城市不同领域数据汇聚及关联，为智慧服务提 供“能量来源”，但如何实现城市数据系统统一体化，如何实现实现 对城市信息高效分级级存储储、组织组织 与利用。RFID传感器网1G 10G数据中心挑战2：虚实一体的城市多源密集数据呈现与交互 面向城市的大尺度复杂场景高精度交互场景建模，以虚拟现实、增强现实、混合现 实技术为基础的城市多源密集数据呈现和 交互 公共事件应急预案推演与仿真验证 城市基础设施的沉浸式智能管控 虚实融合的智慧应用管理与服务人SIM卡硬件 设备应用 软件操作 系统蓝牙通信WiFi音乐拍照支付聊天游戏导航工作地居住地生活圈终端 状态出行 轨迹出行 方式客户 来源驻留 信息 交际圈基本属性 用户基本的终端硬件、软件信息 随身携带用户应用 用户业务应用信息 网络数据、位置信息属性数据 用户属性分析信息：出行链、生活圈、出行特征、位置属性等挑战3：以人为中心的智慧城市信息化发展模式“智慧”感受来源于人，以人为核心的智慧城市需要解决对人及 周边环境的感知、处理与服务，基于大数据的人的行为服务模型挑战4：面向城市管控特征的数据与系统安全保护17不掌握核心技术就无法摆脱受制于人的 境地，也决定了数据安全得不到保障 3)数据安全标准目前还处于空白状态5)尚未出台针对数据安全监管 政策及法律法规2)仍无法摆脱受制于人的境地我国大数据研究、运行时间短，未经历 大规模用户及服务环境的安全考验，未 来面临较多不确定性1)未经历大规模用户及服务环境的安全考验4)用户和服务商之间未建立起信任关系 个人信息过滤与加密 通信安全和协同防御当前数据安全面临五大挑战：内容提要智慧城市中的大数据技术挑战2移动大数据感知处理与服务技术实践3中国智慧城市理念和技术基础1移动数据的潜在价值标标准与规规范异构基础础网络络异构处处理方式异构技术术与架构异构服 务 能 源人 员 活 动空 间环 境客 流场 景景 区生 活事 件运 输实时实时 非实时实时在线线 离线线基础础 应应用核心 辅辅助移动数据贯穿各行业！数据关联数据调度 l按需调度分配资源 l协同多属性数据执行知识发现聚合 l高效发现、汇聚资源 l有效组织分布资源数据隐私保护 l个人信息过滤与加密 l通信安全和协同防御可聚合可协同可信任研究思路：基于移动大数据的人与环境感知、处理与服务数据量超大规模EB级数据中心 PB级网络应用 百亿级记录服务请求高吞吐率10GB/s处理能力 秒级查询响应 数据结构异质多样 行为数据 轨迹数据 位置数据 偏好数据1. 面向环境感知的移动数据处理技术2. 基于移动大数据的城市行为感知网络1. 面向环境感知的移动数据处理路标标识房屋标识基础设施 标识道路标识车辆标识特殊位置 标识 事件信息车位信息路况信息能耗信息设备标识 基于实体识别的多源城市数据汇聚及关联，为智慧服务提供“ 能量来源”。数据的“活化”是实现城市智慧的基石。RFID传感器网1G 10G数据中心效率和 准确性 问题信息 完整性 问题多模服 务可适 配问题启发式地图匹配算法 基于特征提取的行驶模式区分 基于证据理论的主辅路区分 基于模式识别的信息完整性计算模型 基于证据推理的多源数据融合模型 基于离群点挖掘的交通事件检测 资源管理和服务运行容器支持 交通服务自适配动态协同运行 基于消息的业务统一访问机制 1.1关键技术： 基于大规模浮动车数据处理ES240/350 RX350/450h LX 570终端电信运营商TEANAG25/37 SedanG37 CoupeG37 ConvertibleEX25/35网站车联网/Telematics服务LS600HL车商为超过五十万台丰田、日产、通用等品牌轿车的车载导航仪、佳明、诺基亚、HTC等 厂商的百万台移动终端提供服务。中国移动、中国电信的实时路况服务达到每月百 万次，为百度、搜狗、谷歌等门户网站提供实时路况信息1.1技术应用：动态交通信息服务技术1.2关键技术：基于离群点挖掘的交通事件自动检测基于路链旅行时间的交通事件形式化定义与演化模型 构建可区分异常事件与拥堵热点的算法模型道路L-1道路L道路L+1根据出现事件后的交通变化提取特征变量：标准化(3) vdown(d,t,l)= v(d,t,l+1) -v(d,t,l) 0(1) v(d,t,l) (2) v(d,t,l-1)(4) dv(d,t,l)= v(d,t,l) - v(d,t-1,l) 0特征变量1特征变量2当前各路链的交 通状况标准化 到同一坐标系中1.2技术应用：道路异常事件识别基于交通特征的交通态势长期预测 基于区域的基本趋势的预测 基于特征（节假日、大型活动、恶劣天气等）的长期预测 长期预测可为交通管理部门提供决策支持。事件ID类型时间区域 1中雨星期二 16-18时北京全市2管制星期一 17-18时长安街3小雪星期二 6-15时北京全市预测事件类型发生时间影响范围 小雨星期二 10-12时北京全市恶劣天气环境下交通影响分析及预测交通事件影响的预测交通事件影响分析及预测技术在建模阶段，通过对大量交 通事件发生情况下的历史交 通数据进行学习，建立交通 事件影响模式库。交通事件 影响模式库在预测阶段，从交通事件影 响模式库中检索与待预测事 件最相似的若干历史事件， 以其作为预测的参考。参考事件类型发生时间影响范围 中雨星期二 9-13时北京全市小雨星期三 10-16时北京全市准确率：62.7%准确率：65.2%准确率：74.2%准确率：76.1%历史预测事件预测真实数据10：3011：30大型活动对区域交通影响分析及预测 以北京工人体育场为例 空间影响为三公里 时间影响为13:30-23:30 5分钟为最小样本间隔 每5min取样一次计算RAS道路结构模型1.3关键技术： 道路能耗信息计算关键技术MicroscopicMesoscopic混合仿真模型浮动车信息源扩展浮动车信息源 (CAN总线数据)车辆构成模型车辆轨迹样本数据融合交通检测数据行车推测CO2 计算模型发动机能耗模型能耗分析模型中关村l 建立人的出行行为与交通状态的 关联模型 p 按时、区域 p 按出行意愿 l 提取不同交通小区的出行特性 p 商业区 p 办公区 p 学区 p 居民区 p 混合区1.4 关键技术：公交到站预测关键技术模型轨道数据公交数据公共交通 数据采集浮动车数 据换乘步行 路线指引公交动态 诱服务组合换乘查询服务实时公交 信息服务实时交通 信息服务其他服务POI数 据库其他内 容 数据库数据分析 支撑模型系统运 行数据 库公共交 通综合 出行数 据库数据管理公共交通综合数据平台基于移动终端的公共交通 出行动态诱导服务 交 通 数 据 共 享 交 通 系 统31出行前规划 公交引导 地铁引导步行引导1.4 技术应用：行人导航 采用先进的平台虚拟化、分布式处理、海量数据管 理等平台技术 北京、上海、广州三大数据中心协同处理 每周期（1分钟）20万辆车的百万条位置数据1.5 关键技术集成：交通大数据实时处理系统2.以人为中心的行为感知关键技术无所不在的运营商感知网络 打造运营商感知网络，提供海量感知数据。1、感知环境：道路、酒店、商场、景区、居民区的详细地理特征分类标示 ，感知城市中的每个角落 2、感知行为：把用户的通信行为与用户的空间位置轨迹及时间关联起来， 在时空全景条件下感知用户行为，提炼用户属性，分析用户需求行为数据与环境数据结合打造“行为感知网络”2.1 关键技术：基于信令数据的轨迹推测模型问题1：城市复杂路网问题 在城市路网密集区域或并行路网环境 下时，并没有足够的信息来保证这种 选择的正确性 问题2：基站切换的不稳定性问题 存在重复基站切换问题，即因基站切 换导致序列中存在环路 因切换序列丢失导致轨迹信息缺失 解决方法