新人串讲 百灵沈 湘2011-8-12概述Bailing 系统简介 BDDB 详细设计 WDBD 的部署、使用及测试 统一运维和统一回灌Bailing 是什么？百灵 (Bailing) 是PS infrastructure小组 开发的新一代网页库平台，具有如下特点 大容量，单机10TB，总容量无上限 高吞吐，单机100Mbps，总吞吐量线性增长 自动运维，快速错误恢复，便于管理 支持应用程序调度执行，分布式计算 基于BDDB的结构化存储 Bailing 整体架构上下游关系FIFO 的结构Bailing 机群管理信息维护 机器状态监控 备机池维护 机器修复流程管理 机器环境初始化Bailing 存储系统基本概念：库，table，snapshot，view BDDB操作：增删改查，scan Schema：可变/不变属性，长/短属性 Proxy：兼容webinfodb操作 粒度：切表，粒度更细，便于错误恢复错误恢复Bailing 调度系统提供基本的MapReduce模式的计算 提供统一错误处理 基于单机的执行环境，应用可简单移植 基于优先级的任务调度概述Bailing 整体架构 BDDB 详细设计 WDBD 的部署、使用及测试 统一运维和统一回灌BDDB 设计目标与设计理念目标： 大容量数据存储，设计容量为10TB，数据条数20亿以上； 结构化数据存储，每一份数据为一条记录record，有key、schema，支持增、 删、改、查、扫描等操作； 支持记录的按序或无序存储； 提供高I/O吞吐率，除了查询操作外，增、删、改、扫描的throughput在 100MBps以上。 理念： 使用多buffer来提高读写效率； 除了不可避免的（由查询导致的）随机读，其他随机I/O均转化为顺序I/O； 在内存中的数据为cache，可以丢失，但写入硬盘的数据一定保持一致，包括 metadata与data、index与record等，即对以上数据采用transactional update。BDDB 总体结构（1）名词解释Record：数据基本单位，由key唯一标识 Schema：Record的数据结构描述 Table：一批相同schema的records的集合，在逻辑上可看作是一个大文件。 Block：数据的存储单元，物理上对应于硬盘上的一个文件，若干个blocks组成一个table。BDDB 总体架构（2）ComponentsBDDB 总体架构（3）数据组织无序表：直接在文件末追加 有序表：依次存放 / 指针排序BDDB 总体架构（4）Log-based Storage StructureBDDB 总体架构（5） Metadata维护双层Index结构Table Layer概述Bailing 整体架构 BDDB 详细设计 WDBD 的部署、使用及测试 统一运维和统一回灌WDBD 部署和起停线上 /home/work/bailing/bin /home/work/bailing/conf /home/work/bailing/sbin /home/disk09,a,b 线下（需注意bin和conf需在平行目录下） /home/work/bailing/bin /home/work/bailing/conf /home/work/bailing/sbin /home/work/bailing/data/disk09,a,b 起停 ./wdbd -r ./data -c 9999 W limit ./wdbd -c 9999 ./stop.sh (调用killall wdbd)WDBD 使用表的维护端口绑定 createdb 解除绑定 deletedb 更新 mergedb 拷贝 copytable 分拆 bldc 导出 dumpstat 列举 listdb 交互式控制台 monitor 查询 queryWDBD 使用记录的访问接口通过组包（ulpack）方式调用 ADD：不存在则添加，存在则忽略操作 MOD：不存在则添加，存在则更新 MOD-PROP：对特定属性进行更新 META：更新meta信息 REMOVE：单个删除 MULTIREMOVE：按条件删除 CHG-WT：更新 page-weightWDBD 使用记录的访问接口（续 ）UPTIME：更新 intime 字段 DEL：标记删除 UNDEL：恢复删除 MULTIDEL：按条件批量删除 MULTIUNDEL：按条件批量恢复删除 ATTR_MOD：批量修改属性（回灌） SEEK：查询单条数据 SEEKSIGN：查询多条数据WDBD自动化lib的层级WDBD 测试自动化框架概述Bailing 整体架构 BDDB 详细设计 WDBD 的部署、使用及测试 统一运维和统一回灌统一运维和统一回灌稳定性环境5台机子，其中一台总控机（兼做FIFO机），4台存储机统一运维http:/szjjh-bl1885.szjjh01.baidu.com:8490/machine/bailing统一回灌szjjh-bl1885/home/work/unified_feed/参考：Bailing系统简介 BDDB详细设计 WDBD使用手册 基于schema的自动化测试框架详细设计 串讲材料、wikiThe EndThanks!