优酷土豆数据平台优酷土豆数据平台傅杰2013.32大纲数据平台介绍数据平台介绍平台运营规范平台运营规范平台运营数据平台运营数据3平台规模与负载 p平台规模平台规模节点数 150物理CPU 3600核物理内存 4.8T磁盘 1800块存储 3P+p平台负载平台负载日均 5000+作业 峰值1W3日均扫描 上百T数据日增2T+ 原始日志、1T+计算结果存储利用率70%CPU利用率60% 峰值 95%4支撑业务 辐射人员注册账户100+开放团队14组辐射业务广告个性化推荐数据分析无线搜索播放器.5开放功能数据存储数据存储(30T/团队团队)MapReduceHivePigSqoop日志采集服务日志采集服务平台基础包平台基础包运营报表运营报表实时计算实时计算6 Data-mr-common功能类似功能类似Pangool封装偏业务封装偏业务SmartInputFormat常用的统计相关工具常用的统计相关工具 TopN,Histogram,LongStaticsmax,min,avg,sum,stddev,countMrJobHelper常用常用Reducer count,distinct,tuplesum,max,min,sum工具工具Writable pair,tuple,map，bitset 业务业务Writable 广告数据、PV、VV、TS 7安全稳定开放身份认证身份认证-Kerberos权限控制权限控制-mysqlWeb界面访问控制界面访问控制运营监控运营监控8平台运营流程化平台运营流程化新用户、团队注册流程化新用户、团队注册流程化权限开通流程化权限开通流程化新日志上线流程化新日志上线流程化例行维护例行维护受益：资源规范、可控易管理受益：资源规范、可控易管理9目录规范目录规范/source 存储原始日志存储原始日志/logData存储压缩日志存储压缩日志/work 存储业务数据存储业务数据(按照团队、业务线按照团队、业务线)/tmp 存储临时数据存储临时数据/user 存储用户测试数据存储用户测试数据10资源权限粒度资源权限粒度按照业务线划分日志权限按照业务线划分日志权限按照团队划分职能权限按照团队划分职能权限通过授权运行跨团队访问资源通过授权运行跨团队访问资源11调度队列规划按照十二生肖顺序定义队列名称按照十二生肖顺序定义队列名称 mouse、pig等等最初设计划分三个队列最初设计划分三个队列(公平调度公平调度) 通过队列设置来控制资源分配通过队列设置来控制资源分配12历史作业信息采集作业分布统计作业分布统计作业类型统计作业类型统计平台负载平台负载作业调优向导作业调优向导13运营数据-作业数量日线图14运营数据-资源消耗情况15数据平台-slot消耗情况16数据平台-大作业占比17数据平台-11月用户作业数统计18tip未上线程序尽量小数据测试未上线程序尽量小数据测试避免循环提交大作业避免循环提交大作业非常规作业提前告知非常规作业提前告知19Q&A