数据质量工作汇报数据质量工作汇报江西电信企业信息化部江西电信企业信息化部20102010年年7 7月月目目 录录数据组织数据组织数据管理数据管理系统支撑系统支撑运营效果运营效果经验体会经验体会2 2江西电信企业信息化部江西电信企业信息化部江西电信企业信息化部江西电信企业信息化部3 3v数据质量管理历程数据质量管理历程(CRM-(CRM-计费计费主产品一致性主产品一致性) )20072007年年5 5月月 93.23%93.23%20072007年年1010月月 98.7398.7320082008年年1010月月 99.94%99.94%20092009年年1212月月 99.985%99.985%20102010年年6 6月月 99.998%99.998%数据质量历程数据质量历程企业数据管理企业数据管理江西电信企业信息化部江西电信企业信息化部4 4数据考核数据考核江西电信企业信息化部江西电信企业信息化部5 5目目 录录数据组织数据组织数据管理数据管理系统支撑系统支撑运营效果运营效果经验体会经验体会6 6江西电信企业信息化部江西电信企业信息化部数据管理的五大内容数据管理的五大内容江西电信企业信息化部江西电信企业信息化部7 7按照集团规范，对按照集团规范，对CRM系统、计费等系统的信息系统、计费等系统的信息完整性进行分析和整改。完整性进行分析和整改。使用系统功能对关键客户信息进行稽核并发分公使用系统功能对关键客户信息进行稽核并发分公司进行清理。司进行清理。 在各主要系统开展数据提速工作。在各主要系统开展数据提速工作。根据比对结果处理方案对每月比对出的差异数据根据比对结果处理方案对每月比对出的差异数据进行清理，提高各系统数据一致性。进行清理，提高各系统数据一致性。制定工号权限管理细则，对工号进行审核和清理制定工号权限管理细则，对工号进行审核和清理进行操作日志自查，完善系统日志功能进行操作日志自查，完善系统日志功能v将端到端收入稽核融入江西电信数据将端到端收入稽核融入江西电信数据TOPTOP管理，极大提升工管理，极大提升工作的推进力度作的推进力度围绕围绕“五性五性”开展工作，构筑数据应用完整体系。开展工作，构筑数据应用完整体系。主产品主产品提升数据一致性提升数据一致性关键指标关键指标江西电信企业信息化部江西电信企业信息化部8 8CRMCRMCRMCRM与平台与平台与平台与平台-目标目标目标目标99.95%99.95%99.95%99.95%CRMCRMCRMCRM与计费与计费与计费与计费固网与平台固网与平台窄窄带宽带VPDNVPDN速率速率彩彩铃预付付费移动与平台移动与平台与与HLRHLR的后付费的后付费与与OCSOCS的预付费的预付费与与AAAAAA平台鉴权数据平台鉴权数据与与AN-AAAAN-AAA平台的平台的EVDOEVDO彩铃彩铃与综合与综合VPNVPN主产品主产品属性属性主产品主产品附属附属产品产品产品产品相关相关v根据数据的重要程度以及流程中可能存在的问题定根据数据的重要程度以及流程中可能存在的问题定位出影响数据一致性的关键指标。位出影响数据一致性的关键指标。城乡标识城乡标识用用户属属性性产品品标志志付付费模式模式来显来显彩彩铃销售品销售品定价定价目标目标目标目标99.95%99.95%99.95%99.95%目标目标目标目标99.99%99.99%99.99%99.99%提升数据一致性提升数据一致性业务流程业务流程江西电信企业信息化部江西电信企业信息化部9 91 1号号网支网优将源文件送达指定的网支网优将源文件送达指定的FTPFTP服务器。服务器。4 4号号省业务支撑中心通过系统任务完成核心资料一致性比对工作。省业务支撑中心通过系统任务完成核心资料一致性比对工作。5 5号号省业务支撑中心下发差异给分公司。省业务支撑中心下发差异给分公司。1010号号分公司层面提出数据核查需求。分公司层面提出数据核查需求。1515号号省业务支撑中心、网支、网优对分公司提出的问题进行核查。省业务支撑中心、网支、网优对分公司提出的问题进行核查。2020号号分公司层面根据数据比对结果处理方案提出数据修改工单。分公司层面根据数据比对结果处理方案提出数据修改工单。2828号号省业务支撑中心、网支、网优根据工单对数据进行修改及同步。省业务支撑中心、网支、网优根据工单对数据进行修改及同步。省省公公司司信信息息化化部部牵牵头头、推推动动工工作作完完成成提升数据一致性提升数据一致性数据修改工单流程数据修改工单流程v以清理彩铃平台数据为例描述工单流转过程。以清理彩铃平台数据为例描述工单流转过程。江西电信企业信息化部江西电信企业信息化部1010需求人提需求需求人提需求接口人送审批接口人送审批网支审批网支审批接口人派单接口人派单彩铃平台修改数据彩铃平台修改数据接口人确认接口人确认需求人验收需求人验收结束工单结束工单接口人判断是否送审批，送哪个部门审批。接口人判断是否送审批，送哪个部门审批。接口人根据需求内容将工单派发给相关系统或平台。接口人根据需求内容将工单派发给相关系统或平台。验验收收不不通通过过主管部门对工单内容进行审批。主管部门对工单内容进行审批。提升数据一致性提升数据一致性相关文件相关文件江西电信企业信息化部江西电信企业信息化部1111规范化的流程管理保证了数据一致性清理规范化的流程管理保证了数据一致性清理工作有条不紊的进行。工作有条不紊的进行。比对结果处理方案中明确了对差异结果数比对结果处理方案中明确了对差异结果数据的清理方法，有效指导实际操作。据的清理方法，有效指导实际操作。目目 录录数据组织数据组织数据管理数据管理系统支撑系统支撑运营效果运营效果经验体会经验体会1212江西电信企业信息化部江西电信企业信息化部企业数据质量管理系统功能框架功能框架任务配置定义质量分析报告数据采集稽核过程管控数据同步稽核计划管理同步处理同步规则稽核结果报告创建计划待审核计划数据采集管控数据预处理管控数据比对管控规则比对稽核命令脚本稽核存储过程稽核异常数据报告数据修正考核在执行计划1313江西电信企业信息化部江西电信企业信息化部已完成计划数据同步管控数据同步报告数据预处理预处理规则差异确认一一致致性性准准确确性性完完整整性性系统管理 用户管理日志管理统计分析监控告警数据比对数据校验采集计划数据提取解析、过滤校验、规整合并比对方式比对周期稽核计划管理稽核计划管理江西电信企业信息化部江西电信企业信息化部1414一致性一致性准确性准确性完整性完整性稽核计划管理稽核计划管理数据采集数据采集数据预处理数据预处理数据比对数据比对数据同步数据同步稽稽核核过过程程管管控控数据采集数据采集江西电信企业信息化部江西电信企业信息化部1515稽核计划管理稽核计划管理数据采集数据采集数据预处理数据预处理数据比对数据比对数据同步数据同步稽稽核核过过程程管管控控采集计划管理采集计划管理采集计划管理是把采集请求的信息如采集的范围、时间等进行管理。数据提取是根据采集的范围以及时间向MBOSS或网元业务平台提取数据。有批量采集和单个采集。数据校验数据校验数据校验是对从MBOSS或网元业务平台提取出来的数据进行文件名称、文件大小、采集点等完整性的校验。数据提取数据提取文件文件FTPFTP采集采集实时接口查询实时接口查询人工取数输入人工取数输入 数据采集根据采集请求，向IT系统或网元提取原始数据,数据的完整性校验。数据预处理数据预处理江西电信企业信息化部江西电信企业信息化部1616稽核计划管理稽核计划管理数据采集数据采集数据预处理数据预处理数据比对数据比对数据同步数据同步稽稽核核过过程程管管控控数据解析数据解析提取原始数据集中的有效信息，并根据编码规则对其统一编码，经过解析后的数据为标准格式数据 。数据过滤数据过滤过滤是删除标准格式数据中无用或重复的数据 。数据校验数据校验数据归整数据归整对经过过滤、校验的数据进行归整，输出为标准数据。根据校验规则对数据的有效性进行判断 数据合并数据合并数据合并是对经过检验、归整的不同网元平台或IT系统的数据进行合并，输出为可比对的标准格式数据 数据预处理是对采集到的原始数据集进行解析、过滤、校验以及修复等处理的过程，处理后的数据为符合编码规则、可直接用于数据比对的标准格式数据。数据比对数据比对江西电信企业信息化部江西电信企业信息化部1717稽核计划管理稽核计划管理数据采集数据采集数据预处理数据预处理数据比对数据比对数据同步数据同步稽稽核核过过程程管管控控采用规则库配置，实现数据比对比对方式比对方式定义规则库定义规则库存储过程存储过程命令脚本命令脚本 数据比对根据比对方式和比对周期，对提供的标准化数据进行两两比对,查找数据双方的差异。比对周期比对周期即时比对即时比对定时比对定时比对周期性比对周期性比对采用存储过程，实现数据比对采用命令脚本，实现数据比对立即开始数据比对设定某个时间，进行数据比对设定某个周期性时间点，如每月1号，进行数据比对数据同步数据同步-1-1江西电信企业信息化部江西电信企业信息化部1818稽核计划管理稽核计划管理数据采集数据采集数据预处理数据预处理数据比对数据比对数据同步数据同步稽稽核核过过程程管管控控数据同步数据同步-2-2江西电信企业信息化部江西电信企业信息化部1919稽核计划管理稽核计划管理数据采集数据采集数据预处理数据预处理数据比对数据比对数据同步数据同步稽稽核核过过程程管管控控CRM有其它无：有其它无： 以CRM系统数据为准，利用数据质量管理系统的数据同步功能进行同步，同步目标包括计费等外围IT系统、业务平台以及网元，无则增加，有则覆盖。CRM无其它有无其它有: 交由人工干预，如果确认需要CRM增加、删除、修改，则利用数据质量管理系统的数据同步功能进行同步，同步包括计费等外围IT系统、业务平台及网元。数据一致性数据一致性v数据一致性范围数据一致性范围江西电信企业信息化部江西电信企业信息化部2020比对项目比对项目源系统源系统周期周期范围范围数据抽取方式数据抽取方式CRMCRM与与HLRHLR的后付费用户数据的后付费用户数据CRMCRM、HLRHLR每月每月1 1号号全量全量CRMCRM接口表方式，接口表方式，HLRHLR文件文件FTPFTP方式方式CRMCRM与与AAAAAA的的C C网用户鉴权数据网用户鉴权数据CRMCRM、AAAAAA每月每月1 1号号全量全量CRMCRM接口表方式，接口表方式，AAAAAA文件文件FTPFTP方式方式CRMCRM与彩铃平台的与彩铃平台的C C网彩铃用户数据网彩铃用户数据CRMCRM、彩铃、彩铃每月每月1 1号号全量全量CRMCRM接口表方式，彩铃文件接口表方式，彩铃文件FTPFTP方式方式CRMCRM与与OCSOCS平台平台C C网预付费用户数据网预付费用户数据CRMCRM、OCSOCS每月每月1 1号号全量全量CRMCRM接口表方式，接口表方式，OCSOCS文件文件FTPFTP方式方式CRMCRM与综合与综合VPNVPN用户数据用户数据CRMCRM、综合、综合VPNVPN每月每月1 1号号全量全量CRMCRM接口表方式，综合接口表方式，综合VPNVPN文件文件FTPFTP方式方式CRMCRM与与AN-AAAAN-AAA的的EVDOEVDO用户数据用户数据CRMCRM、AN-AAAAN-AAA每月每月1 1号号全量全量CRMCRM接口表方式，接口表方式，AN-AAAAN-AAA文件文件FTPFTP方式方式CRMCRM与终端管理系统与终端管理系统CRMCRM、终端管理系统、终端管理系统即时比对即时比对全量全量CRMCRM接口表方式，终端管理系统接口表方式接口表方式，终端管理系统接口表方式CRMCRM与资源管理系统与资源管理系统CRMCRM、资源管理系统、资源管理系统即时比对即时比对全量全量CRMCRM接口表方式，资源管理系统接口表方式接口表方式，资源管理系统接口表方式CRMCRM每日竣工彩铃与彩铃平台每日竣工彩铃与彩铃平台CRMCRM、彩铃、彩铃每日每日增量增量CRMCRM接口表方式，彩铃接口表方式，彩铃WebServiceWebService接口接口目目 录录数据组织数据组织数据管理数据管理系统支撑系统支撑运营效果运营效果经验体会经验体会2121江西电信企业信息化部江西电信企业信息化部运营效果运营效果移动业务一次性开通移动业务一次性开通江西电信企业信息化部江西电信企业信息化部22222009年年6月统计数据（系统上线使用月统计数据（系统上线使用3个月）个月）0.2%0.2%0.14%0.14%运营效果运营效果- - 收入挽回与服务提升收入挽回与服务提升江西电信企业信息化部江西电信企业信息化部2323v收入挽回数量收入挽回数量宽带拆机宽带拆机18631863彩铃拆除彩铃拆除4705547055宽带速率下调宽带速率下调12271227计费补录计费补录15051505HLRHLR拆机拆机21442144VPDNVPDN拆机拆机132132v避免投诉数量避免投诉数量彩铃等业务平台补录彩铃等业务平台补录48154815移动网元补录移动网元补录52325232宽带速率提高宽带速率提高53815381计费拆机计费拆机189189预付费补录预付费补录351351本地网本地网 预计年效益（元）预计年效益（元）避免投诉数避免投诉数南昌8837603769九江1663236337上饶2840401081抚州170628738宜春687960730吉安5262722267赣州497628415景德镇1893211452萍乡1074301094新余71840887鹰潭57444182全省364264618952目目 录录数据组织数据组织数据管理数据管理系统支撑系统支撑运营效果运营效果经验体会经验体会2424江西电信企业信息化部江西电信企业信息化部形成长效工作机制的保证形成长效工作机制的保证江西电信企业信息化部江西电信企业信息化部2525收入挽回、服务提升收入挽回、服务提升基础管理基础管理p支撑队伍：支撑队伍：形成省、形成省、市两级互动，专岗支撑的市两级互动，专岗支撑的数据质量稽核、清理队伍数据质量稽核、清理队伍。p管理流程：管理流程：建立数据建立数据比对规则、处理流程、问比对规则、处理流程、问题收集、通报机制题收集、通报机制p系统支撑：系统支撑：以以CRMCRM为核为核心的数据质量比对系统心的数据质量比对系统。领导重视领导重视p省公司领导重视：省公司领导重视： 省省公司领导高度重视，公司领导高度重视，20092009年成立数据管理能力提升年成立数据管理能力提升TOPTOP，20102010年成立数据应年成立数据应用能力提升用能力提升TOPTOP。p纳入分公司领导考核：纳入分公司领导考核：数据管理纳入分公司领导数据管理纳入分公司领导KPIKPI考核，有助实现长效考核，有助实现长效推进。推进。集团要求集团要求p收入保障：收入保障：以集团收入以集团收入保障数据稽核实施规范为保障数据稽核实施规范为指引，系统建设、业务运指引，系统建设、业务运营规范化；营规范化；pKQIKQI考核：考核：进一步强化进一步强化省公司数据质量工作省公司数据质量工作系统支撑力度不断提升系统支撑力度不断提升江西电信企业信息化部江西电信企业信息化部2626实现固网比对，及实现固网比对，及BSS中中CRM、计、计费数据质量管理费数据质量管理ODS中做为模块实中做为模块实现现实现实现C网比对，包网比对，包括所有括所有CRM与移与移动网元业务平台的动网元业务平台的比对比对为快速响应全业务为快速响应全业务支撑的需要，独立支撑的需要，独立建设建设数据质量管理数据质量管理系统系统实现实现MBOSS、网、网元、业务平台的一元、业务平台的一致性、准确性、完致性、准确性、完整性、及时性、安整性、及时性、安全性的全面数据质全性的全面数据质量管理量管理演进成融合所有数演进成融合所有数据质量管理的据质量管理的企业企业数据质量管理系统数据质量管理系统 ODS模块模块 数据质量管理系统数据质量管理系统 企业企业数据质量管理系统数据质量管理系统