腾讯海量数据实时计算平台实现及应用第二局部：第二局部：腾讯实时计腾讯实时计算平台算平台TRC第三局部：第三局部：TRC的典型的典型应应用案例用案例内容大内容大纲纲第一局部：第一局部：实时计实时计算技算技术术概概览览第一局部：第一局部：实时计实时计算技算技术术概概览览 实时计算模型 实时计算有哪些应用场景 实时计算平台的技术挑戓第二局部：第二局部：腾讯实时计腾讯实时计算平台算平台TRC第三局部：第三局部：TRC的典型的典型应应用案例用案例内容大内容大纲纲实时计实时计算模型算模型规那么预设时间窗口动态数据源静态数据源数据集合规那么可变离离线线批量批量计计算算在在线实时计线实时计算算实时计实时计算模型算模型实时计实时计算算 - 应应用用场场景景实时感知好友的劢向：“大家正在玩什么社交实时统计商品的热度：“当前时刻，各种商品分别受什么人群的欢送电商实时预测用户的感受：“连续屡次失败的用户，受挫感较强，有流失的风险游戏 实时感知用户兴趣变化、环境/位置变化、商家优惠策略变化，从而实现精准营销营销 实时感知每台机器、每个接口、每个业务的运行状态，实现秒级监控告警运营事件存储实时处理引擎买什么？都正常？会涨吗？浏览、购置、收藏收听、关注游戏、位置、天气信息、信息流实时计实时计算算 - 应应用用场场景景用户：10亿级用户，8亿活泼用户，1000亿级关系链产品：游戏、社交、音乐、视频、门户、论坛行为：点击、曝光、订阅、浏览、收藏、购置、评论流量：百亿级平台流量，万亿级实时事件整个互联网？海量用户众多产品繁多行为海量信息实时计实时计算算 技技术术挑挑战战 海量海量实时计实时计算算 技技术术挑挑战战 实时实时典型需求：当前时刻乊前的10秒钟内，年龄在25-30岁、北京地区、男性用户、在QQ空间上 对iPhone 5广告的点击率挑戓点： 时间窗口，每一秒种都在滑劢，时间窗内的数据时刻变化 计算复杂度百亿级值域空间：年龄 地域 性别 位置 物品，上网时段、上网场景、学历、收入、婚育状态，等等。 数据分布广：全国各地、世界各地 要求毫秒级响应。类hadoop系统，无法在毫秒乊内完成类似的计算实时毫秒级延时秒级时间窗逻辑复杂实时计实时计算算 技技术术挑挑战战海量万亿级事件TB级数据百亿级流量第一局部：第一局部：实时计实时计算技算技术术概概览览第二局部：第二局部：腾讯实时计腾讯实时计算平台算平台TRC TRC平台根底架构 TRC平台扩展 TRC未来规划第三局部：第三局部：TRC的典型的典型应应用案例用案例内容大内容大纲纲腾讯实时计腾讯实时计算平台算平台TRC TRCTencent Realtime Compute 通过对海量数据进展实时采集接入，然后采用流式分析计算技术，实时感知外部信息变化 从事件产生到感知变化最后输出结果，秒级延时； 基于在线消息流的实时计算模型，区别于传统的离线批量计算模型实时计算体系结构实时数据接入TDBank平台组件层实时数据计算TDProcess实时数据存储TDEngine核心效劳层实时算法预测实时模型训练实时效果统计实时系统监控实时数据展示业务应用广告推荐新闻/视频推荐游戏/道具推荐微信实时分析实时监控腾讯实时计腾讯实时计算平台算平台TRC 核心需求 秒级接入延时 低本钱、高效率、强平安 方便数据管理和使用 主要矛盾 数据总量巨大 数据源种类繁多 数据格式各异 数据分布IDC众多 特色功能 自劣接入 多种格式适配 公网加密传输 订阅消费 自定义分发TRC TDBank实时实时接入接入数据源接入数据缓存预加工数据深加工百T级数据量 千亿级实时数据TRC TDProcess实时处实时处理理 核心需求核心需求 基于消息的流式处理 多维度组合计算 线性扩展能力 特色功能特色功能 效劳级功能抽象 统一的资源管理 类SQL编程接口千亿级流量 100维度 万亿级计算量路由管理：路由管理：负责数据在集群中的分布，以及节点位置、状态的感知数据迁移：数据迁移：保保证证数据在集群中分布均衡，在数据在集群中分布均衡，在扩扩容、容、缩缩容戒故障宕机的容戒故障宕机的时时候可能会候可能会发发生数据迁移生数据迁移备备份恢复：份恢复：确保在故障下数据平安以及快速恢确保在故障下数据平安以及快速恢复效复效劳劳Keeper路由管理路由管理容灾管理容灾管理扩扩容管理容管理Node数据同步数据同步数据迁移数据迁移数据存数据存储储TRCTDEngine存存储储引擎引擎核心需求核心需求 高幵高幵发发，低延，低延迟迟 高可用性，数据平安高可用性，数据平安 关注本关注本钱钱，关注，关注资资源利用率源利用率 线线性性扩扩展展Client路由表路由表TRCTDEngine存存储储引擎引擎体系构造体系构造核心功能核心功能 支持多副本数据支持多副本数据备备份，确保数据平安份，确保数据平安 主主备备机同机同时时提供效提供效劳劳，提升集群，提升集群资资源利用率源利用率 集群高可用，容灾切集群高可用，容灾切换过换过程中仍然提供程中仍然提供读读写效写效劳劳 全内存全内存设计设计万亿级读写请求效率TRC 平台平台扩扩展展 Java for Storm Storm on Yarn Pig Latin on Storm提升可维护性提升资源利用率提升易用性 纯纯java语语言言实现实现 更好的可维护性 功能扩大 解决nimbus单点 解决集群性能瓶颈 加强集群监控管理 稳定性增强 运运营营数据数据 每天百亿级流量 每天万亿次计算量TRC 平台平台扩扩展展 Java for storm 任务间资源隔离 灵活的权限控制策略 更优异的容灾能力 根据资源消耗自劢扩容/缩容挑挑战战 对storm和yarn本身做大量扩展 无成熟方案运运营营 现网支撑百亿级流量Yarn ContainerApp MasterUIZookeeper心跳上心跳上报报Yarn Containersupervisor YarnResourcesManager任任务务所需所需要的要的资资源源workTRC 平台平台扩扩展展 Storm on Yarn核心特点核心特点核心特点核心特点 过程化类SQL编程接口 降低实时计算业务技术门槛 提升业务开发效率挑挑战战 对pig需要有大量的改劢 业界没有成熟的案例CLIIDE(Editor,Compile,Debug,Run)Java APIAntlr JavaCC-ASTAST-Logical Plan-Physical PlanPhysical Plan-Execute EngineHadoop MapReduce JobTopology Job用户界面语法解析语义解析执行引擎执行环境TRC 平台平台扩扩展展 Pig Latin on StormTRC 未来未来 开放开放计计算能力算能力权权限控制限控制 任任务调务调度度TRC 实时计实时计算集群算集群提交任务腾讯腾讯云平台云平台对外开放对内开放 SQL支持 过程化语言 可视化组件第一局部：第一局部：实时计实时计算技算技术术概概览览第二局部：第二局部：腾讯实时计腾讯实时计算平台算平台TRC第三局部：第三局部：TRC的典型的典型应应用案例用案例 TRC在在腾讯腾讯的的总总体体应应用概况用概况 TRC在精准推荐在精准推荐领领域的域的应应用用 TRC在在实时实时分析分析领领域的域的应应用用内容大内容大纲纲TRC在在腾讯腾讯每天，千千亿亿级实时消息接入，万万亿亿次实时计算，万万亿亿次存储访问覆盖，SNG、IEG、MIG、CDG 等各大BG涵盖，广告、广告、视频视频、游、游戏戏、文学、新、文学、新闻闻 等多个业务涉及，个性化精准推荐精准推荐、实时实时分析分析统计、秒秒级监级监控控告警 等多个领域广点通推荐效果提升 20%以上告警准确性大幅度提高；对监控对象进展全纬度组合分析，实现了监控的100%覆盖。精准推荐广点通广告推荐新闻推荐视频推荐游戏道具推荐实时分析微信运营数据门户效果统计订单画像分析实时监控实时监控平台游戏内接口调用对微信的性能优化、IDC部署、运营商选择等有着十分重要的作用TRC的的应应用用 概概览览三座大山海量实时精准TRC的的应应用用精准推荐精准推荐广点通广告广点通广告展示展示类类广告广告 80%3天生命周期天生命周期 80%30天不点天不点击击广告广告 80%2次曝光次曝光时时机机 1000次 2次 经济效益 Netflix 60%收入 Amazon 35%收入 YouTube 60%点击 用户体验 骚扰？ 效劳？ 隐私？ 业界口碑 ROI 客户收益TRC实时计实时计算平台算平台实时实时数数据采集据采集实时实时模模型型训练训练实时实时算算法法预测预测业务侧广告投放系统1：点击、曝光上报4：实时PCTR效劳23 百亿级推荐流量 万亿次多维度计算 万亿次广告预测 50ms请求响应10ms 20%效果提升更更实时实时， 更精准更精准TRC的的应应用用 精准推荐精准推荐 广点通广告广点通广告TRC的的应应用用 实时实时分析分析 实时实时用用户户画像画像更更实时实时， 更精准更精准第一局部：第一局部：实时计实时计算技算技术术概概览览 实时计算模型 我们为什么需要实时计算 实时计算有哪些应用场景 实时计算平台的技术挑戓第二局部：第二局部：腾讯实时计腾讯实时计算平台算平台TRC TRC平台根底架构 TRC平台扩展 TRC未来规划第三局部：第三局部：TRC平台的平台的应应用用 TRC的总体应用概况 TRC在精准推荐领域的应用 TRC在实时分析领域的应用内容回内容回忆忆面临的问题丌一样拥有的资源信息丌一样解决问题的方法丌一样希望能对大家有所帮劣更希望能得到大家的帮劣我们一直在探索更多的交流合作最后最后Thanks知识回忆知识回忆Knowledge Knowledge ReviewReview祝您成功！