数据分析平台解决方案 数据分析平台解决方案成都四方伟业软件股份有限公司2017年1月目录1.背景概述52.现状分析62.1.主流BI模式62.1.1.传统BI模式62.1.2.敏捷BI模式72.2.平台推荐模式83.整体需求103.1.数据源支持103.2.自助式查询103.3.OLAP联机分析113.4.UI编排功能123.5.丰富的组件133.6.多种展示方式133.7.外部数据服务144.总体设计154.1.数据分析164.2.设计运行164.3.系统管理164.4.可视化展示165.功能设计175.1.数据分析175.1.1.多数据源175.1.2.数据建模185.1.3.多维BI分析185.2.设计运行205.2.1.UI编排205.2.2.丰富组件215.2.3.事件引擎245.2.4.运行引擎245.3.系统管理265.3.1.我的报表265.3.2.工程化管理265.3.3.主题管理275.3.4.布局管理275.3.5.数据源管理275.3.6.基础管理275.4.可视化展示285.4.1.决策仪表盘285.4.2.大屏综合显示305.4.3.交互式WEB界面305.4.4.基于GIS的数据可视335.5.其他功能385.5.1.数据探索385.5.2.事件定义385.5.3.项目管理395.5.4.基础管理395.5.5.安全管理395.5.6.部署与集成401. 背景概述当前，我们的世界已经迈入大数据（Big Data）时代，随着互联网、物联网、云计算等信息技术的迅猛发展，信息技术与人类世界、经济、军事、科研、生活等方面不断交叉融合，催生了超越以往任何年代的巨量数据。数据正在变得无处不在、触手可及，数据的背后隐藏着信息，而信息之中蕴含着知识和智慧。而数据创造的真正价值，在于我们能否提供进一步的稀缺的附加服务，就是数据分析。数据的分析过程往往离不开机器和人的相互协作与优势互补。从这一立足点出发，大数据分析的理论和方法研究可以从两个维度展开：一是从机器或计算机的角度出发，强调机器的计算能力和人工智能,以各种高性能处理算法、智能搜索与挖掘算法等为主要研究内容，例如基于Hadoop和MapReduce/Spark框架的大数据处理方法以及各类面向大数据的机器学习和数据挖掘方法等，这也是目前大数据分析领域的研究主流；另一个维度从人作为分析主体和需求主体的角度出发,强调基于人机交互的、符合人的认知规律的分析方法，意图将人所具备的、机器并不擅长的认知能力融入分析过程中，这就是大数据可视化分析。商业智能（Business Intelligence，简称BI）是进行数据可视化分析的一种重要手段。2. 现状分析2.1. 主流BI模式Gartner的2016 BI和分析平台魔力象限报告指出：当今数据分析向可视化设计UE、自助式探索分析、分析和展现一体化平台发展已经成为大势所趋。2016年，传统的BI厂商已经集体沦陷，全部被驱出了领导象限。2.1.1. 传统BI模式在对数据进行分析的过程中，传统BI的做法是，IT人员事先根据分析需求来进行建模（以及做二次表或打Cube），提前汇总好数据，业务人员在前端查看分析结果报表。分析过程如下所示。这种做法很成熟，持续了很多年，但是也存在着一些问题：1、业务人员查看的报表相对静态，分析的维度和度量的计算方式已在建模时预先设定好，不能更改，比如定好了是求和或求平均数，想改成求方差必须回去修改模型。2、分析需求变更时，业务人员不能直接调整报表，需要IT人员重新建模或修改已有分析模型，耗时较长，响应速度较久。2.1.2. 敏捷BI模式随着技术的发展和演进，BI领域已经迎来了新一代敏捷BI的革新。基于大数据的处理技术，其对TB-PB级的数据可实现秒级响应。敏捷BI的数据展现是起点，而不是终点。看到了数据，能交互式分析，能深入向下挖掘，能发现问题找到答案。敏捷BI的分析报告能让非IT部门的同事直接在分析平台上做出来。不能把所有的分析报告需求都提交到IT部门，这样会严重增加IT部门的工作负担。敏捷BI的实施和操作相比传统BI都要来得更为简单，可以说是以业务人员为使用对象的BI，支持自助探索式分析。分析报告需求经常需要数据层的改动，需要IT部门去改进数据层和业务层，传统BI平台需要一两个月去梳理模型。敏捷BI无需事先建模，可在分析过程中灵活调整分析维度和报表展现，需求变更可以在一天之内响应，提升企业的洞察力决策力。与传统BI的重量建模、统一视图不同，敏捷BI采取轻量建模、N个视图的方法，数据连进来直接可以进行分析，并且业务人员可以实时调整分析的维度和度量的计算方式，极大增加灵活性，真正做到和数据对话。2.2. 平台推荐模式从前文可以看出，敏捷BI以“快而有效”的方式解决了业务与技术长期的矛盾，为数据市场带来了新的活力，也引领了商业智能可视化分析的走向。但我们也要冷静思考：敏捷BI和过去二十五年一样，无法替代Excel，这是为什么？大众化的敏捷BI产品和过去二十五年一样，只能通过Ctrl+C/V才能进入Word/PPT当中，而这“交付的最后一步”却是每个领导真正才会看到的数据分析！大众化的敏捷BI产品还是基于表格和图表化的分析，似乎没有改变数据的堆砌，用户很难为其增加辅助性的说明文字，加入自己的观点！如果分析出报表之后，想要将这些BI图表有机地结合起来，并形成一套完整的数据展示系统，难道还需要专门让IT技术人员编写一套WEB系统，将这些图表嵌入到这个系统中去？大众化的敏捷BI产品即使具备报告/WEB页面的发布能力，但这些报告发布之后都是一些静态页面，无法让最终使用者（业务人员或者领导）再次进行动态分析。比如：根据不同查询条件进行分析、动态切换维度和指标。大众化的敏捷BI产品不能与外部系统进行交互，他们发布的报表是独立存在的。这样就导致无法与外部业务系统有效地结合，从而让分析者、查看者有整体的感知，并不能根据外部系统的参数进行动态分析。所以，我们的数据分析平台应该在基于“业务主导的自服务模式（Business-User-Driven）”的敏捷BI基础上，增加了高级UI页面编排的功能。在进行可视化设计UE分析的同时，也能设计出一套完整的WEB数据展现系统，体现了“分析和展现一体化”。3. 整体需求3.1. 数据源支持支持大多数源系统，只对数据进行抽取和呈现，不对数据进行任何操作。支持结构化、非结构化、API接口的方式作为数据源进行数据管理，结构化数据库支持关系型数据库，非结构化数据支持nosql相关数据库，API接口支持soap、rest等方式。3.2. 自助式查询对于清单数据的查询，用户可以直接通过即席查询设计界面，在可视化界面中以拖拽式的构建查询，无需编写SQL语句，直接查询出数据平台的数据。即席查询应满足业务人员自助式的、零编程的、快速定制的查询需求。提供各种快速和高级查询功能，满足如下要求： 支持通过拖拽式的可视化查询外，还可以通过向导式查询，提供向导界面，通过选择查询字段、查询条件，快速完成数据查询过程，让每个业务用户都可以自己动手创建查询分析。 支持用户对即席查询的结果进行灵活的排序、过滤、分组、小计、合计、告警等高级功能，并选择要展现的方式，如表格、柱图、趋势图等。 通过在界面上选择查询条件，可以快速的进行数据过滤，查看所需的数据。查询条件支持多种方式：文本框输入，下拉框、下拉树、弹出对话框方式，支持单选及复选的方式，日期控件方式，满足不同用户的查询需要。3.3. OLAP联机分析具备多维度的联机分析功能，用于展示重要业务指标的统计数字和分析比较。基于多维分析技术，使内外部的决策者和知识工作者访问关键数据，可以从任意角度探察和分析任何形式组合的数据，快速识别使用其它分析方式无法发现的影响环境的因素，从而提高工作效率。具备大数据可视化分析，从各个维度对数据进行分析，具备如下功能： 用户可以基于多维模型实现任意的切片、旋转、钻取等操作，更可实现自定义指标、统计分析等操作； 从宏观到微观的信息洞察。支持在多维模型上实现钻取操作，可以在多维报表之间进行关联分析，更可从多维报表钻取到明细报表，以发现问题背后的根源； 预定制的分析报表过于死板，业务问题经常需要多个角度的交互分析，需要运用多维分析技术来解决； 多维分析以特有的方式满足了业务用户和管理层的多维分析需求，通过鼠标拖拉即可实现任意的切片、旋转、钻取，具备多维的、交互式的分析功能，用户界面友好。允许用户全方位的、不同角度、不同层面进行剖析，任何层次的决策人员都可以进行自己所需的分析，制订关键决策。 对于多维分析中的不同角度，比如时间、地区等维度，可以通过上钻、下钻等操作来逐步分析；并支持切片、切块、旋转、分页等多维分析；还可以进行各种排序，以及最大值、最小值、平均值、分组合计和总计等计算； 多维分析应具备丰富的信息展示及发布方式，包括趋势图、对比图、比例图、三维图等大量的图形分析，图形具备缩放、旋转、动态效果，帮助用户更加直观地进行分析决策。 在分析过程中形成多维分析报表，可对其数据进行计算、编辑等操作，可以基于多维分析报表生成多种多样图形展现形式，而且在对数据作分析时，数据与图形可实现联动的数据刷新。3.4. UI编排功能具备UI编辑功能，利用业务画布构建报表的UI界面，系统支持拖拽组件栏任意组件，容器组件可嵌套基础组件、图表组件、地图组件、业务组件，表格组件内可以嵌套链接、复选框、单选框组件，GIS上嵌套表格或图等。3.5. 丰富的组件l 基础组件支持丰富的组件库，并支持组件自定义。基础组件、图表组件、地图组件、动态数据组件及业务组件具备相同的公共属性，各分组组件有不同的高级属性设置。用户可以根据自己的需要，对组件的各类属性进行调整，并保存为用户自定义组件库。系统既支持柱状图、折线图、饼图、雷达图、散点图、玫瑰图、气泡图、矢量地图等多种基本图表，同时支持漏斗图、词云图、GIS地图等特殊图表，满足不同场景的数据展现需求。特别是系统支持丰富多样的WEB组件。l 动态组件具备提供流状数据实时呈现功能，需要在线实时流处理模型支持。结合GIS组件可以构建基于地图的动态数据呈现效果l GIS组件具备GIS组件，支持嵌套基础组件和图表组件，构建基于地理位置信息的数据呈现方式。3.6. 多种展示方式l 决策仪表盘展示具备决策仪表盘，将数据应用平台中的各种报表、分析、图形组合起来，形象、直观、具体的展示各种指标数据，形成面向业务、面向角色的展示界面。决策仪表盘往往采用驾驶舱的形式，通过各种常见的图表形象标示经济运行环境情况的关键指标，直观的监测各地区环境情况，并可以对异常关键指标预警和挖掘分析。l 大屏综合展示 支持通过大屏展示技术和可视化的解决方案，支持多种类型的数据接口，从数据仓库中抽取出各种各样的数据，依据中心设定的应用逻辑，梳理出资源数据对应的使用逻辑关系，利用数据加工技术和渲染技术进行可视化处理，依托可视化引擎，实现涉及相关指标数据的大屏幕的自动呈现。l APP报表查询支持通过手机端APP应用实现报表查询和图表展示。3.7. 外部数据服务数据分析平台发布的报表工程、页面，能通过URL或者API