光环大数据光环大数据-大数据培训知名品牌大数据培训知名品牌http:/hadoop.aura.cn 光环大数据光环大数据 http:/hadoop.aura.cn大数据应用案例大数据应用案例智能报表系统建设智能报表系统建设_ _光环大数据培训光环大数据培训证券行业是中国计算机应用高度密集的行业之一，较高的信息化水平使其积累了大量的数据，如客户信息、客户交易数据、股票市场信息、上市公司信息等。如何利用好各项数据是券商摆脱低层次的同质化竞争，走向差异化服务优势的重要途径。那么以数据为基础，通过数据分析指导服务和决策就显得尤为重要。在东北证券的数据平台建设完毕之后，结构化数据初步实现了统一归集，数据报表和图表可视化均可以通过 Cognos 工具实现。但是，由于 Cognos 使用繁琐、开发复杂，东北证券的数据小组一直无法接手该工具。同时，东北证券的新需求不断出现，亟需通过系统保存工作中产生的结构化数据，取代 excel 记录和上报数据的模式。所以，东北证券自助开发了“数据助手”这一 BS 架构的系统，较为完善的解决了当前数据填报的需求。但是，因为多种原因，两个系统并未采用统一数据库，报表数据查询基于oracle 数据库，数据填报则基于 SQL server 数据库。数据同步通过 ETL 工具，每天晚上定时将数据助手库数据抽取至数据平台库。总之，两个不同的系统和两个不同的数据库，让业务人员在使用上费时费力，让 IT 人员在后台管理上劳心劳力。东北证券有着近百家营业网点，分布于全国各地，公司总部对各营业网点的任务数据下达需求越发强烈。此外，在大数据和商业智能报表系统技术的迅速发展下，东北证券信息技术部认为，公司需要一套全新的智能报表系统，解决上述全部痛点，同时能够迎上大数据可视化的浪潮，帮助公司不断向前。光环大数据光环大数据-大数据培训知名品牌大数据培训知名品牌http:/hadoop.aura.cn 光环大数据光环大数据 http:/hadoop.aura.cn周期/节奏2015 年 11 月，东北证券信息技术部完成了公司大数据分析挖掘平台可行性分析报告，其中智能报表系统将作为其平台上层应用系统之一。报告分析比较了开源版大数据平台和商用版大数据平台的优缺点，已经智能报表系统在大数据平台之上能够为公司提供哪些应用场景。2016 年 1 月至 2 月，东北证券信息技术部完成了国内几家大数据平台、智能报表系统等产品的 POC 测试，完成 POC 测试报告的编制。2016 年 7 月，在智能报表系统方面，东北证券选择了帆软报表系统。2016 年 8 月，完成报表开发的总体需求分析工作，确定了统一的报表式样。2016 年 9 月，完成了各项需求的开发和测试工作。2016 年 10 月，东北证券智能报表系统上线试运行。2016 年 11 月，东北证券智能报表系统正式上线运行。2016 年 11 月至今，东北证券信息技术部已经能够独立承担公司各项报表开发工作，对公司各业务部在报表数据支持方面，做到了报表需求及时响应，快速落地。开发工具：帆软报表 FineReport。客户名称/所属分类光环大数据光环大数据-大数据培训知名品牌大数据培训知名品牌http:/hadoop.aura.cn 光环大数据光环大数据 http:/hadoop.aura.cn东北证券股份有限公司/大数据技术服务任务/目标1、智能报表系统能够对接 Hadoop 大数据平台，通过此系统能够完成 BI 拖拽和分析功能；2、实现东北证券各营业网点有权限的查询统计自家资产、交易量和客户数等数据；3、实现东北证券各营业网点有权限的查询公司总部下达的任务及最新任务完成情况；4、解决数据填报的问题，在一套系统中实现数据查询和数据填报等功能，拥有附件上传等功能；5、实现东北证券经纪业务管理部、零售客户部、网络金融部的考核任务填报、绩效考核数据填报；6、实现东北证券经纪业务管理部对公司各营业网点的基本信息、人员信息、经纪业务数据等多项数据的上报、审核和管理；7、实现智能报表系统同电子签字板对接，实现无纸化签字办公，实现办公签字统一管理。挑战光环大数据光环大数据-大数据培训知名品牌大数据培训知名品牌http:/hadoop.aura.cn 光环大数据光环大数据 http:/hadoop.aura.cn项目实施过程中，主要的挑战来自以下几个方面:1.传统关系型数据仓库对于大数据量数据的统计、计算效率上的挑战。2.公司各项经营指标计算方式的了解、掌握、梳理工作。公司数据平台采集汇总多个系统数据，每个系统有各自的供应厂商负责，所以如何了解、掌握各系统数据库表结构，梳理出一系列准确的指标项数据是我们首要面对的挑战之一。3.由于东北证券的营业网点数量近百家，并且每家营业网点均有 3 人使用此系统进行数据填表和查询等工作，这样在营业网点方面用户数量有 3 百人，用户数量较大。同时，地域分布广，所以在系统上线初期，如何让如此数量的公司员工学会使用该系统，让其学会通过此系统完成数据填报和 Excel 数据导入等，是比较大的挑战。4.东北证券总部处于东北长春，相比其他地方，在 IT 技术、IT 人员方面均有不小差距，在大数据技术方面更是如此。所以公司如何能够招入更多大数据技术人才，组建大数据团队，真正将公司大数据平台运作起来，是一项不小的挑战。实施过程/解决方案1、平台架构公司数据平台基于 Oracle 数据库实现，在大数据量数据的统计、计算效率上性能低下，导致某些报表查询时间超长，操作不友好。光环大数据光环大数据-大数据培训知名品牌大数据培训知名品牌http:/hadoop.aura.cn 光环大数据光环大数据 http:/hadoop.aura.cn在公司尚不具备 Hadoop 大数据平台的背景下，先通过编写存储过程的方式，优先计算出结果数据，并保存在一张结果表中，从而大幅缩短查询时长。但是仍存在一个问题，就是查询数据仅能实现 T+1 式查询。与此同时信息技术部正在筹建 Hadoop 大数据平台，从而彻底解决此问题。2、数据采集在数据采集方面，由于东北证券拥有数据平台，能够实现结构化数据的归集。每个工作日，在柜台交易系统数据初始化完成后，开始进行柜台数据、CRM数据、自营、资管等十多个应用系统数据的采集工作。在数据采集方面不存在困难。3、数据清洗较为复杂的工作就是数据清洗。由于 ODS 层数据包括了柜台数据、CRM 数据、自营、资管等十多个应用系统数据，并且每个系统供应厂商并不相同，所以在数据清洗环境耗时耗力较大。各系统供应商中，有的不同意提供系统表结构文档，有的同意提供系统表结构文档但是文档质量不高，或是文档更新缓慢。对于不同意提供系统表结构文档的系统供应商，采用同其项目经理沟通指标需求的方式，由其反馈基于 ODS 层数据的 SQL 语句。对于同意提供系统表结构文档的系统供应商，采用先查看表结构文档，根据文档内容同其项目经理沟通指标需求，自主编写 SQL 语句。此方式较上一种光环大数据光环大数据-大数据培训知名品牌大数据培训知名品牌http:/hadoop.aura.cn 光环大数据光环大数据 http:/hadoop.aura.cn而言，效率更高效，并且可以使我们快速了解表含义和结构关系。数据清洗结果产出多项数据指标，用于支持智能报表查询统计。4、数据填报报表开发数据填报报表分为总部业务部门填报报表和营业网点填报报表。(1)总部业务部门总部业务部门填报报表主要用于编制营业网点当年任务、预算，往年绩效数据。如公司网络金融部根据各营业网点去年开户数量、导流数量，再乘以一定比例，即定义出各营业网点今年需推广安装融 e 通 App 的任务数据。此时，数据仍存储在 Excel 文件中，通过系统的 Excel 导入功能，导入此数据。营业网点通过系统可以查询到自家各项任务数据，同时也可以查看到前一工作日任务完成情况数据。例如，本年度任务数量为 1 万户，截至到上一工作日完成数量 3 千户，剩余 7 千户，完成比例 30%。由于总部下达的各项任务数据的计算公式每年都会有变动，所以采用通过数据填报的方式导入数据，而不是在数据平台中通过 sql 语言编写。优点主要为，计算过程和计算思路均由业务部门完成，技术部门仅需根据需求提前做出填报报表即可。(2)营业网点光环大数据光环大数据-大数据培训知名品牌大数据培训知名品牌http:/hadoop.aura.cn 光环大数据光环大数据 http:/hadoop.aura.cn营业网点通过填报报表主要进行数据上报等工作。公司在没有这种 B/S 架构系统之前，每个月月初，营业部数据上报需要通过填写 Excel 后，邮件发送至总部，再由总部逐一核查存档。这种工作方式，对于拥有上百家营业部的公司而言，简直是噩梦。而如今，通过此系统，公司营业网点在每月月初填报数据即可。现已经做成的填报报表有营业部基本信息报表、营业部人员信息报表、营业部许可证扫描件、营业部经纪数据上报报表等 6 张填报报表。(3) 实施过程在数据平台中创建符合该需求的数据库表，建立表字段及索引，建立 ID主键。通过智能报表系统的可视化报表开发工具，完成填报报表与数据平台相应表的关联，保证在系统前端，新增、修改、删除数据的同时，对后台物理表进行相同操作。定制开发 Excel 增量导入插件，通过 java 编程方式，开发 Excel 增量导入插件，实现大批量数据，以 Excel 增量导入的方式，将数据存储后台数据库。将开发好的数据填报报表挂至系统，在授权后，公司业务部门人员可以访问此报表。5、考核数据、经营数据查询光环大数据光环大数据-大数据培训知名品牌大数据培训知名品牌http:/hadoop.aura.cn 光环大数据光环大数据 http:/hadoop.aura.cn除数据填报报表外，另一大类别报表就是考核、经营数据查询报表。公司总部，如经纪业务管理部、零售客户部、机构业务部、网络金融部等等，查询公司经营数据为全体营业网点数据。公司各营业网点则只能查询自家经营数据。经营数据包括了，新开客户数据、客户资产数据、客户交易量数据、理财产品持仓数据等，包括了公司所有业务部门，所有业务的经营数据。实施过程：各项经营指标的编写梳理工作，通过编写 sql 的方式，根据指标基本含义，完成某统计报表脚本编写工作。通过智能报表系统的可视化报表开发工具，完成 sql 脚本同报表样式的绑定工作。将开发好的统计报表挂至系统，在授权后，公司业务部门人员可以访问此报表。6、编制使用手册使用手册主要用于让公司各业务网点的数据填报人员尽快了解掌握数据填报功能。结果/效果总结案例项目上线后，该系统得到了东北证券各业务部门、营业网点的肯定。光环大数据光环大数据-大数据培训知名品牌大数据培训知名品牌http:/hadoop.aura.cn 光环大数据光环大数据 http:/hadoop.aura.cn系统指标项规模达到 1 千左右，系统月查询次数突破 1.8 万次/月，环比增加100%以上。东北证