工业控制技术研究所 主要内容 数据挖掘概述数据预处理数据挖掘算法 分类与预测数据挖掘算法 聚类数据挖掘算法 关联分析序列模式挖掘数据挖掘软件数据挖掘应用 工业控制技术研究所 一 数据挖掘概述 工业控制技术研究所 数据挖掘概念 数据挖掘 从大量数据中寻找其规律的技术 是统计学 数据库技术和人工智能技术的综合 数据挖掘是从数据中自动地抽取模式 关联 变化 异常和有意义的结构 数据挖掘大部分的价值在于利用数据挖掘技术改善预测模型 数据挖掘与KDD 工业控制技术研究所 数据挖掘与KDD 知识发现 KD 输出的是规则数据挖掘 DM 输出的是模型共同点两种方法输入的都是学习集 learningsets 目的都是尽可能多的自动化数据挖掘过程数据挖掘过程并不能完全自动化 只能半自动化 工业控制技术研究所 数据挖掘的社会需求 国民经济和社会的信息化 社会信息化后 社会的运转是软件的运转社会信息化后 社会的历史是数据的历史 工业控制技术研究所 数据挖掘的社会需求 有价值的知识 可怕的数据 工业控制技术研究所 数据挖掘的社会需求 数据爆炸 知识贫乏 工业控制技术研究所 数据挖掘的发展 1989IJCAI会议 数据库中的知识发现讨论专题KnowledgeDiscoveryinDatabases G Piatetsky ShapiroandW Frawley 1991 1991 1994KDD讨论专题AdvancesinKnowledgeDiscoveryandDataMining U Fayyad G Piatetsky Shapiro P Smyth andR Uthurusamy 1996 1995 1998KDD国际会议 KDD 95 98 JournalofDataMiningandKnowledgeDiscovery 1997 1998ACMSIGKDD SIGKDD 1999 2002会议 以及SIGKDDExplorations数据挖掘方面更多的国际会议PAKDD PKDD SIAM DataMining IEEE ICDM DaWaK SPIE DM etc 工业控制技术研究所 数据挖掘技术 技术分类预言 Predication 用历史预测未来描述 Description 了解数据中潜在的规律数据挖掘技术关联分析序列模式分类 预言 聚集异常检测 工业控制技术研究所 异常检测 异常检测是数据挖掘中一个重要方面 用来发现 小的模式 相对于聚类 即数据集中间显著不同于其它数据的对象 异常探测应用电信和信用卡欺骗贷款审批药物研究气象预报金融领域客户分类网络入侵检测故障检测与诊断等 工业控制技术研究所 什么是异常 outlier Hawkins 1980 给出了异常的本质性的定义 异常是在数据集中与众不同的数据 使人怀疑这些数据并非随机偏差 而是产生于完全不同的机制 聚类算法对异常的定义 异常是聚类嵌于其中的背景噪声 异常检测算法对异常的定义 异常是既不属于聚类也不属于背景噪声的点 他们的行为与正常的行为有很大不同 工业控制技术研究所 异常检测方法的分类 基于统计 statistical based 的方法基于距离 distance based 的方法基于偏差 deviation based 的方法基于密度 density based 的方法高维数据的异常探测 工业控制技术研究所 数据挖掘系统的特征 数据的特征知识的特征算法的特征 矿山 数据 挖掘工具 算法 金子 知识 工业控制技术研究所 数据的特征 大容量POS数据 某个超市每天要处理高达2000万笔交易 卫星图象 NASA的地球观测卫星以每小时50GB的速度发回数据 互联网数据含噪音 不完全 不正确 异质数据 多种数据类型混合的数据源 来自互联网的数据是典型的例子 工业控制技术研究所 系统的特征 知识发现系统需要一个前处理过程数据抽取数据清洗数据选择数据转换知识发现系统是一个自动 半自动过程知识发现系统要有很好的性能 工业控制技术研究所 知识 模式 的特征 知识发现系统能够发现什么知识 计算学习理论COLT ComputationalLearningTheory 以FOL为基础的以发现关系为目的的归纳逻辑程序设计现行的知识发现系统只能发现特定模式的知识规则分类关联 工业控制技术研究所 知识表示 规则 IF条件THEN结论条件和结论的粒度 抽象度 可以有多种单值区间模糊值规则可以有确信度精确规则概率规则 工业控制技术研究所 知识表示 分类树 分类条件1 分类条件2 分类条件3 类1 类2 类3 类4 工业控制技术研究所 数据挖掘算法的特征 构成数据挖掘算法的三要素模式记述语言 反映了算法可以发现什么样的知识模式评价 反映了什么样的模式可以称为知识模式探索 包括针对某一特定模式对参数空间的探索和对模式空间的探索 工业控制技术研究所 数据挖掘的主要方法 分类 Classification 聚类 Clustering 相关规则 AssociationRule 回归 Regression 其他 工业控制技术研究所 数据挖掘系统 工业控制技术研究所 数据挖掘系统 第一代数据挖掘系统支持一个或少数几个数据挖掘算法 这些算法设计用来挖掘向量数据 vector valueddata 这些数据模型在挖掘时候 一般一次性调进内存进行处理 许多这样的系统已经商业化 第二代数据挖掘系统目前的研究 是改善第一代数据挖掘系统 开发第二代数据挖掘系统 第二代数据挖掘系统支持数据库和数据仓库 和它们具有高性能的接口 具有高的可扩展性 例如 第二代系统能够挖掘大数据集 更复杂的数据集 以及高维数据 这一代系统通过支持数据挖掘模式 dataminingschema 和数据挖掘查询语言 DMQL 增加系统的灵活性 工业控制技术研究所 数据挖掘系统 第三代数据挖掘系统第三代的特征是能够挖掘Internet Extranet的分布式和高度异质的数据 并且能够有效地和操作型系统集成 这一代数据挖掘系统关键的技术之一是提供对建立在异质系统上的多个预言模型以及管理这些预言模型的元数据提供第一级别 firstclass 的支持 第四代数据挖掘系统第四代数据挖掘系统能够挖掘嵌入式系统 移动系统 和普遍存在 ubiquitous 计算设备产生的各种类型的数据 工业控制技术研究所 二 数据预处理 工业控制技术研究所 为什么需要预处理 数据不完整含观测噪声不一致包含其它不希望的成分数据清理通过填写空缺值 平滑噪声数据 识别删除孤立点 并解决不一致来清理数据 工业控制技术研究所 污染数据形成的原因 滥用缩写词数据输入错误数据中的内嵌控制信息不同的惯用语重复记录丢失值拼写变化不同的计量单位过时的编码含有各种噪声 工业控制技术研究所 数据清理的重要性 污染数据的普遍存在 使得在大型数据库中维护数据的正确性和一致性成为一个及其困难的任务 垃圾进 垃圾出 工业控制技术研究所 数据清理处理内容 格式标准化异常数据清除错误纠正重复数据的清除 工业控制技术研究所 数据规约 数据集的压缩表示 但是能和原始数据集达到相同或基本相同的分析结果主要策略 数据聚集维规约数据压缩数值规约 工业控制技术研究所 空缺值 忽略元组人工填写空缺值使用固定值使用属性平均值使用最有可能值 工业控制技术研究所 噪声数据 如何平滑数据 去掉噪声数据平滑技术分箱聚类计算机和人工检查相结合回归 工业控制技术研究所 分箱 箱的深度 表示不同的箱里有相同个数的数据 箱的宽度 每个箱值的取值区间是个常数 平滑方法 按箱平均值平滑按箱中值平滑按箱边界值平滑 工业控制技术研究所 聚类 每个簇中的数据用其中心值代替忽略孤立点先通过聚类等方法找出孤立点 这些孤立点可能包含有用的信息 人工再审查这些孤立点 工业控制技术研究所 回归 通过构造函数来符合数据变化的趋势 这样可以用一个变量预测另一个变量 线性回归多线性回归 工业控制技术研究所 数据集成 将多个数据源中的数据结合起来存放在一个一直得数据存贮中 实体识别实体和模式的匹配冗余 某个属性可以由别的属性推出 相关分析相关性rA B rA B 0 正相关 A随B的值得增大而增大rA B 0 正相关 AB无关rA B 0 正相关 A随B的值得增大而减少重复同一数据存储多次数据值冲突的检测和处理 工业控制技术研究所 数据变换 平滑聚集数据概化规范化属性构造 特征构造 工业控制技术研究所 最小最大规范化小数定标规范化属性构造由给定的属性构造和添加新的属性 以帮助提高精度和对高维数据结构的理解 规范化 工业控制技术研究所 数据立方体聚集 寻找感兴趣的维度进行再聚集 工业控制技术研究所 维规约 删除不相关的属性 维 来减少数据量 属性子集选择找出最小属性集合 使得数据类的概率分布尽可能地接近使用所有属性的原分布如何选取 贪心算法逐步向前选择逐步后向删除向前选择和后向删除相结合判定树归纳 工业控制技术研究所 数据压缩 有损 无损小波变换将数据向量D转换成为数值上不同的小波系数的向量D 对D 进行剪裁 保留小波系数最强的部分 主要成分分析 工业控制技术研究所 数值规约 回归和对数线形模型线形回归对数线形模型直方图等宽等深V 最优maxDiff 工业控制技术研究所 数值规约 聚类多维索引树 对于给定的数据集合 索引树动态的划分多维空间 选样简单选择n个样本 不放回简单选择n个样本 放回聚类选样分层选样 工业控制技术研究所 离散化和概念分层 离散化技术用来减少给定连续属性的个数通常是递归的 大量时间花在排序上 对于给定的数值属性 概念分层定义了该属性的一个离散化的值 分箱直方图分析 工业控制技术研究所 数值数据离散化 聚类分析基于熵的离散化通过自然划分分段3 4 5规则如果一个区间最高有效位上包括369个不同的值 划分为3个等宽区间 7个不同值 按2 3 3划分为3个区间最高位包含2 4 8个不同值 划分为4个等宽区间最高位包含1 5 10个不同值 划分为5个等宽区间最高分层一般在第5个百分位到第95个百分位上进行 工业控制技术研究所 分类数据的概念分层生成 分类数据是离散数据 一个分类属性可能有有限个不同的值 方法由用户和专家在模式级显式的说明属性的部分序通过显式的数据分组说明分层结构的一部分说明属性集 但不说明他们的偏序只说明部分的属性集 工业控制技术研究所 三 数据挖掘算法 分类与预测 工业控制技术研究所 分类VS 预测 分类 预测分类标号 或离散值 根据训练数据集和类标号属性 构建模型来分类现有数据 并用来分类新数据预测 建立连续函数值模型 比如预测空缺值典型应用信誉证实目标市场医疗诊断性能预测 工业控制技术研究所 数据分类 两步过程 第一步 建立一个模型 描述预定数据类集和概念集假定每个元组属于一个预定义的类 由一个类标号属性确定基本概念训练数据集 由为建立模型而被分析的数据元组形成训练样本 训练数据集中的单个样本 元组 学习模型可以用分类规则 判定树或数学公式的形式提供第二步 使用模型 对将来的或未知的对象进行分类首先评估模型的预测准确率对每个测试样本 将已知的类标号和该样本的学习模型类预测比较模型在给定测试集上的准确率是正确被模型分类的测试样本的百分比测试集要独立于训练样本集 否则会出现 过分适应数据 的情况 工业控制技术研究所 第一步 建立模型 训练数据集 分类算法 IFrank professor ORyears 6THENtenured yes 分类规则 工业控制技术研究所 第二步 用模型进行分类 分类规则 测试集 未知数据 Jeff Professor 4 Tenured 工业控制技术研究所 准备分类和预测的数据 通过对数据进行预处理 可以提高分类和预测过程的准确性 有效性和可伸缩性数据清理消除或减少噪声 处理空缺值 从而减少学习时的混乱相关性分析数据中的有些属性可能与当前任务不相关 也有些属性可能是冗余的 删除这些属性可以加快学习步骤 使学习结果更精确数据变换可以将数据概化到较高层概念 或将数据进行规范化 工业控制技术研究所 比较分类方法