资源预览内容
第1页 / 共51页
第2页 / 共51页
第3页 / 共51页
第4页 / 共51页
第5页 / 共51页
第6页 / 共51页
第7页 / 共51页
第8页 / 共51页
第9页 / 共51页
第10页 / 共51页
亲,该文档总共51页,到这儿已超出免费预览范围,如果喜欢就下载吧!
资源描述
第六章 统计类数据挖掘和知识类 数据挖掘 6.1 设计数据挖掘模型 6.1.1 数据挖掘方法论 6.1.2 构造和使用数据挖掘模型 6.2 统计类数据挖掘 6.2.1 统计分析类数据挖掘技术 6.2.2 统计分析工具 6.2.3 统计分析工具应用 6.3 知识类数据挖掘 6.3.1 知识发现系统的一般结构 6.3.2 知识发现技术及其运用 6.3.3 知识发现工具 6.4 MDX语言 6.1 设计数据挖掘模型 数据挖掘的基本机制是数据挖掘模型,这是一个 抽象的对象,该模型以一系列结构行集 存储数据 挖掘信息,并可使用各种工具轻松访问数据。构 造和使用数据挖掘模型首先必必须 创建数据挖掘 模型,并可以使用数据挖掘模型测览器以图形格 式显示数据挖掘模型的内容。 6.1.1 数据挖掘方法论 1.数据取样(Sample) 2.数据特征探索、分析和预处理(Explore) 3.问题明确化、数据调整和技术选择 (Modify) 4模型的研发及知识的发现(Model) 5模型和知识的综合解释和评价(Assess) 6.1.2 构造和使用数据挖掘模型 1创建数据挖掘模型 创建新的数据挖掘模型包括确定模型类 型、构建事例集将要使用的模型并选择模 型构造 新数据挖掘模型所用的数据挖掘技 术。 根据要处理的事例集数据的类型,可以 使用两种类型的数据挖掘模型:关系数据 挖掘模 型和OLAP数据模型。前者设计为处 理传统的关系数据库表,而后者则设计为 处理以多维 数据集形式保存的OLAP数据。 2编辑数据挖掘模型 一般可以通过编辑器来编辑数据挖掘模型。数 据挖掘模型的进程取决于挖掘模型的类 型。 (1)通过编辑器编辑关系数据挖掘模型 可以使用关系挖掘模型编辑器编辑关系数据挖 掘模型的结构,该编辑器也可用来处理数 据挖掘 模型和查看结果内容,允许更改数据挖掘模型的 基本属性(如数据挖掘算法),显示 数据挖掘模型 列(包括键列、输入列和可预测列)。 关系挖掘模型编辑器还可以显示构造事 例集的表结构,显示事例和支持表。对于 已培训 的关系挖掘模型,可以使用数据挖 掘模型浏览器,以图形形式显示数据挖掘 模型的内容。 (2)通过编辑器编辑OLAP数据挖掘模型 可以使用OLAP挖掘模型编辑器编辑 OLAP数据挖掘模型的结构而且可处理数 据挖 掘模型并显示结果内容,更改数据挖 掘模型的基本属性(如数据挖掘算法)及组成 数据挖掘 模型事例集的维度、级别和度量 值的属性。 如果OLAP数据挖掘模型已经过培训,则 该编辑器还可以使用数据挖掘模型浏览器 以 图形形式显示数据挖掘模型的内容。 3培训数据挖掘模型 为提供预测性的结果,数据挖掘模型首先 必须在称为“培训”的进程中采用已知数据。 在该进程中,数据被插入到未经过培训的 数据挖掘模型中。这个进程并不将培训数 据保存到 数据挖掘模型中,而是通过数据 挖掘模型分析培训数据,找出以后可使用 的规则和模式,以 确定预测列的图值并将 统计信息作为数据挖掘模型内容保存。 4查看数据挖掘模型 查看已培训数据挖掘模型的最简单方法 是使用数据挖掘模型浏览器和相关性网络 浏览 器,这些图形化工具以易于理解的图 形界面显示数据挖掘模型的复杂内容(如 决策树),并 图形化数据挖掘模型的内容。 图形化是指以易十理解的可视化格式 显示复杂数据的过程,但在数据挖掘中实 现却非常 困难。数据挖掘模型浏览器可以 简化数据挖掘模型内容的图形化过程,而 相关性网络浏览器 则可以使决策树数据挖 掘模型中复杂关系的图形化变得易于理解 。 5对数据挖掘模型的其他操作 也可以为数据挖掘模型分配安全角色 ,以将对该模型及其预测能力的访问权限 限制为特 定用户和组、当数据挖掘模型链 接到相应的数据库时,将使用数据库角色 决定是否允许访问 链接到数据库中的数据 挖掘模型,这与在多维数据集中使用数据 库角色类似。 6.2 统计类数据挖掘 统计技术是一个有着百余年历史,并 有着广泛应用的技术。目前所使用的一些 经典数据挖掘技术(如CART和CHAID等)都 来自统计技术。在数据挖掘中的概率、独 立性、偶然 性和过适应性等概念也都来源 于统计技术。6.2.1 统计分析类数据挖掘技术 统计类数据挖掘技术是数据挖掘技术中较为成 熟的一种,主要包括数据的聚集与度量技 术、各 种回归技术、聚类挖掘技术和最近邻域挖掘技术 等。 1数据的聚集与度量 2各种回归技术回归又包括线性回归和非线性回归。 3聚类挖掘技术 (1)聚类分析原理 (2)分层聚类 (3)划分聚类 (4)密度聚类 (5)网格聚类 (6)模型聚类4最近邻域数据挖掘 最近邻域数据挖掘工具是数据挖掘技术 中最容易理解的技术之一,因为它用与人 们思维 方式相似的方法进行分析检测 最接近的匹配样本。 用最近邻域方法进行预测的基本概念是 相互之间“接近”的对象具有相似的预测值。 如 果知道其中一个对象的预测值后,可以 预测其最近的邻域对象。 6.2.2 统计分析工具 数据挖掘中的统计分析上具是一种处于 知识发现工具和信息处理工具之间的数据 挖掘工具。1统计类数据挖掘工具的功能 (1)可视化功能 (2)探索功能 (3)统计功能 (4)数据管理功能 (5)显示功能 (6)挖掘结果描述功能 (7)开发工具 (8)可接受的响应时间2统计分析类工具的用途 统计类数据挖掘工具可以在时序数据和序列 数据的挖掘中发挥重要作用,主要是趋势分 析、 相似性搜索、与时间有关数据的序列模式挖掘和 周期性模式的挖掘。 6.2.3 统计分析工具应用 1统计分析类工具应用中的问题 (1)空缺值处理 A.忽略元组 B.人工填写空缺值。 C.使用一个全局变量填充空缺值。(2)噪声数据处理 噪声是一个测量变量中的随机错误或偏差。给 定一个数值属性的噪声,可以将其平滑掉 或剔除 掉噪声。 A.分箱 B.聚类 C.计算机和人工检查结合 D.回归(3)不一致数据处理 对于有些事务,所记录的数据可能存在不一 致性。数据不一致可以使用其他材料人工加 以更 正,例如数据输入时的错误可以便用纸上的记录 加以更正。 2统计分析遵循的基本原则统计分析的科学依据在于事物发展的规律性 。具体来说,应该遵循以下3个基本原则。 (1)与定性分析相结合原则 (2)连贯和类推原则 (3)统计资料的可靠性和分析公式的适应性原则3统计分析的步骤(1)确定分析目标 (2)收集、审核及分析统计资料 (3)确定分析模型、选择分析方法 (4)进行分析和误差分析4统计类数据挖掘的性能问题统计方法的优点是精确、易理解并臣己经被广泛 应用。统计分析是一种有力的技术,用它可以了 解客户、市场、产品和其他关键商业参数。但也 存在一些问题。(1)它是劳动力密集的,需要相当一部分统计分 析员和商业分析员的分析劳动。 (2)成功的可能性很大程度上依赖于商业分析员 解决问题的能力,不能自行查找隐藏在 数据背后 的知识。 (3)许多情况下,商业分析人员并不知道需要查 找什么(或无法选择离散的变量分析), 此时,统 计分析工具将无法工作。(4)在进行市场细分时,很难集成和分析非数字 化数据,只适合数字化数据处理。 (5)一般来说,统计类数据挖掘工具的应用成本 与其可接受的响应时间不好统一。 6.3 知识类数据挖掘 知识类数据挖掘技术就是一种依靠数据 驱动的、从数据仓库的数据中挖掘业务模 式的知识发现技术。6.3.1 知识发现系统的一般结构知识发现系统的结构由知识发现系统管理器、知 识库、商业分析员、数据仓库的数据接口、数据 选择、知识发现引擎、知识发现评价、知识发现 描述等部分组成。见图6-1。1知识发现系统管理器知识发现系统管理器控制并管理整个知识发现过 程。商业分析人员的输入和知识库中的信息用于 驱动以下三个过程: (1)数据选择过程。 (2)抽取算法的选择及使用过程。 (3)发现的评价过程。2知识库和商业分析员 知识库包含源于各方面的知识。商件分析员将 元数据输入数据仓库,描述数据仓库的数 据结构 、商业分析员还要在知识库中输入其他相关的数 据知识(如应当注意的关键数据字段、 分析中用于 产生数据需求的商业规则、任何数据层次等)。其 目的是按一种有效的方式指导 对关注性信息的发 现。 3数据仓库的数据库接口 知识发现系统利用数据库的查询机制,从数据 仓库中抽取数据。对于关系数据库,可使用SQL 查询语言。知识库中的数据仓库元数据指导数据 库接口正确组织数据结构,并正确组织数据结构 在数据仓库中存储的方式。 为了提高效率,知识发现系统的数据库接口可 以直接与数据仓库通信。4数据选择 数据选择构件可以确定从数据仓库中需要抽取 的数据及数据结构。知识库指导数据选择构件, 选择需要抽取的数据以及抽取方式。如果只需示 例数据,数据选择构件必须有能力选择并抽取恰 当的随机事例。此外,它还要选择算法所需要的 数据类型,同时将数据类型输入算法。5知识发现引擎 知识发现引擎将知识库中的抽取算法提供数据 选择构件抽取的数据,其目的是抽取数据元素间 的模式和关系。存储在知识库中的经验对发现抽 取有重要的作用。 许多数据挖掘算法可与知识发现系统结合,作 为知识发现引擎,如数据依赖、分类规则、聚类 、概括数据、偏差检查、归纳和模糊推理等。6发现评价 商业分析员需要寻找关注性的数据模式,以便 了解顾客、产品、市场等等。数据仓库潜 在地具 有宿主模式。评价构件或过滤构件有助于商业分 析员筛选模式,选出关注性的信息。 用于分析关注性模式的技术包括统计的重点、 覆盖级别的置信度因子,以及可视化分析。 7发现描述 发现描述构件提供两种必须的功能。一种是 发现评价辅助商业分析员,在知识库中保存 关注 性的发现结果,以备引用和使用。另一种是保持 发现与商业经理(或商业总经理)的通 信。其目的 是利用知识发现来理解业务模式,将此理解转化 成可执行的建议。知识发现系统 中的描述技术包 括可视化导航和浏览、自然语言文本报告以及图 表和图形。 6.3.2 知识发现技术及其运用 前面叙述过,数据挖掘中的知识发现技术按照 其不同的技术特点,可以分成规则型知识 挖掘技 术、神经网络型知识挖掘技术、遗传算法型知识 挖掘技术和粗糙集型数据挖掘技术。这些不同类 型的知识挖掘技术在数据挖掘中占有重要的地位 。 1关联规则应用 关联规则是知识挖掘中一种主要的挖掘技术, 通过关联规则在数据仓库中的应用,可使人们了 解各种事物发生的前因后果,使企业利用挖掘的 各种商业规则在市场竞争中获取优势。 通常,关联规则用于值域的基数很高或有多个 二值属性列的数据库。 2神经元网络的应用 人工种经网络是种有效的预测模型。其模型 比较复杂,许多人都难以理解;但是在聚 类分析 、奇异点分析、特征抽取中可以得到较大的应用 ,例如应用在信用卡欺诈、信贷风险、 客户分类 、盈利客户特征分析商业模式的识别上。神经元网络在使用时需要很长的圳练时间,因而 对有足够长训练时间的应用更为合适。 此外,神 经元网络对噪声数据具有较高的承受能力。 3遗传算法的
网站客服QQ:2055934822
金锄头文库版权所有
经营许可证:蜀ICP备13022795号 | 川公网安备 51140202000112号