第六章第六章第六章第六章机器学习机器学习机器学习机器学习 Machine Learning 机器学习是一门研究使用计算机机器学习是一门研究使用计算机 获取新的知识和技能，提高现有获取新的知识和技能，提高现有 计算机求解问题能力的科学计算机求解问题能力的科学 规律：规律： 购买尿布的多为青年男性，他们往购买尿布的多为青年男性，他们往 往在购买尿布之后，还要顺手买上往在购买尿布之后，还要顺手买上 一听啤酒。一听啤酒。 机器学习机器学习 计算机分析、归纳、整理、运算销售记录计算机分析、归纳、整理、运算销售记录 数据挖掘 数据库机器学习 数据分析技术数据管理技术 有用的信息有用的信息 上帝给我们大海，也许只想给我们盐 盐的利润有限，大家就拼命去提取铀 数据挖掘 美国航空航天局JPL实验室的科学家在美国航空航天局JPL实验室的科学家在 Science上撰文指出：Science上撰文指出：机器学习对科学研究的机器学习对科学研究的 整个过程正起到越来越大的支持作用，整个过程正起到越来越大的支持作用，该领域在，该领域在 今后的若干年内将取得稳定而快速的发展今后的若干年内将取得稳定而快速的发展 重要性 生物 信息学 计算 金融学 分子 生物学 行星 地质学 工业过 程控制 机器人 遥感信 息处理 信息 安全 机 器 学 习 6.1 机器机器学习学习的基本概念的基本概念 研究如何让智能机器自己学习，获取智能。研究如何让智能机器自己学习，获取智能。 获取知识获取知识 表示知识表示知识 使用知识使用知识 一一 、机器学习、机器学习 定义一定义一 狭义机器学习：指人们通过系狭义机器学习：指人们通过系 统设计、程序编制和人统设计、程序编制和人机机 交互，使机器获取知识。交互，使机器获取知识。 定义二定义二 广义机器学习：智能机器可以广义机器学习：智能机器可以 自动或半自动地获取知识。自动或半自动地获取知识。 机器学习 经典定义：利用经验改善系统自身的性能 主要做智能数据分析 典型任务：预测 二、机器学习的途径二、机器学习的途径 1、人工移植、人工移植 ?通过编程建立知识库，进行知通过编程建立知识库，进行知识的存识的存 储和管理储和管理 -“静态移植静态移植” ； ?通过人机交互的方式对智能系统通过人机交互的方式对智能系统的知识库的知识库 进行人工的修改、扩充和更新进行人工的修改、扩充和更新- “动态动态 移植移植”。 2、示教式学习、示教式学习 在机器学习的过程中，加入在机器学习的过程中，加入人的指导人的指导和监和监 督。督。 3、自学式学习、自学式学习 由智能系统本身指导和监督学习过程。由智能系统本身指导和监督学习过程。 4、机器感知、机器感知 系统运行过程中，通过机器感觉获取知识。系统运行过程中，通过机器感觉获取知识。 机 器 视 觉 ：机 器 视 觉 ： 如 文 字 识 别 、 图 像如 文 字 识 别 、 图 像 识识 别别 机 器 听 觉 ：机 器 听 觉 ： 如声音识别、语音识别如声音识别、语音识别 三、机器学习系统三、机器学习系统 指能够在一定程度上实现机器学习，指能够在一定程度上实现机器学习， 获取信息，改进系统性能，不断完善知识获取信息，改进系统性能，不断完善知识 库，并将获取的信息用于未来的估计、分库，并将获取的信息用于未来的估计、分 类、决策或控制的系统。类、决策或控制的系统。 6.2 机器学习系统的基本模型机器学习系统的基本模型 指工作对象和指工作对象和 外界条件外界条件 。环环 境应能向系统境应能向系统 提供正确的信提供正确的信 息息 。 从环境中获取外部信息从环境中获取外部信息 后，对信息进行分析、综后，对信息进行分析、综 合、归纳、推理。合、归纳、推理。 知识库是系统记忆装置，用来存知识库是系统记忆装置，用来存 放经学习环节得到的知识。放经学习环节得到的知识。 执行环节由工作环节和执行环节由工作环节和 评价环节两部分组成评价环节两部分组成 环境环境学习环节学习环节知识库知识库 执行环节执行环节 6.3 机器学习的常用方法机器学习的常用方法 一、机械式学习（一、机械式学习（Rote Learning） （记忆学习）是其他学习系统的基础（记忆学习）是其他学习系统的基础。 1、学习过程：、学习过程： 问题和解存储到智能系统的知识库问题和解存储到智能系统的知识库 遇到同样问题，检索知识库中的知识遇到同样问题，检索知识库中的知识 得到问题的解得到问题的解 解决一个问题解决一个问题 死记硬背死记硬背 2、设计时需要考虑的几个问题：设计时需要考虑的几个问题： 存储结构存储结构 监控环境变化，及时更新信息监控环境变化，及时更新信息 权衡存储与计算权衡存储与计算 3、典型代表：西蒙的西洋跳棋程序、典型代表：西蒙的西洋跳棋程序 二二、指导式学习、指导式学习 (Learning by being told ) 核心问题是如何把由外部环境向系统提供核心问题是如何把由外部环境向系统提供 的、不能被直接执行的知识或建议转化为可的、不能被直接执行的知识或建议转化为可 执行的知识。执行的知识。 适用于适用于 专家系统专家系统 1、学习过程：步骤、学习过程：步骤 请求请求：向指导者请求建议或指示向指导者请求建议或指示 解释解释：接受建议并将其转化接受建议并将其转化 成机器的内部表示形式成机器的内部表示形式 如果专家的建议如果专家的建议 是用自然语言提是用自然语言提 出的，那么解释出的，那么解释 过程应包括自然过程应包括自然 语言理解。语言理解。 操作化操作化：把解释后的建：把解释后的建议议 转换成具体的知识转换成具体的知识 归并归并:这一步把新知识加入知识库这一步把新知识加入知识库 评价评价 三、示例学习（三、示例学习（Learning from Examples） （实例学习）（实例学习） 属于归纳学习属于归纳学习 任务：从已知的正例和反例中归纳出任务：从已知的正例和反例中归纳出 一个一般性的知识，解释所有的正一个一般性的知识，解释所有的正 例，排除所有的反例。例，排除所有的反例。 1、学习模型、学习模型 验证过程 解释空间 示例空间规则空间 验证过程 解释空间 示例空间规则空间 ?存放人们向系统提供的训练例子集合存放人们向系统提供的训练例子集合 。 ?示例空间的例子应该是无二义性示例空间的例子应该是无二义性 。 ?要考虑两个问题：例子的质量和示例空间的搜索方要考虑两个问题：例子的质量和示例空间的搜索方 法。法。 解释过程：从搜索到的示例中抽象出所需的信解释过程：从搜索到的示例中抽象出所需的信 息，并对这些信息进行综合、归纳，形成一般息，并对这些信息进行综合、归纳，形成一般 性的知识。性的知识。 验证过程 解释空间 示例空间规则空间 归纳推理常用的有以下几种：归纳推理常用的有以下几种： 把常量化为变量：扩大条件的范围。把常量化为变量：扩大条件的范围。 示例1：示例1： 花色(c1，梅花)花色(c2，梅花)花色(c3，梅花)花色(c1，梅花)花色(c2，梅花)花色(c3，梅花) 花色(c4，梅花)同花(c1，c2，c3，c4) 花色(c4，梅花)同花(c1，c2，c3，c4) 示例2：示例2： 花色(c1，红桃)花色(c2，红桃)花色(c3，红桃)花色(c1，红桃)花色(c2，红桃)花色(c3，红桃) 花色(c4，红桃)同花(c1，c2，c3，c4) 花色(c4，红桃)同花(c1，c2，c3，c4) 同花(c1，c2，c3，c4)同花(c1，c2，c3，c4) 曲曲线拟合：适用于对数值问题的归纳。线拟合：适用于对数值问题的归纳。 例：例： 每个例子都输入（x每个例子都输入（x、y y、z z），用最小二乘法，用最小二乘法进进行行 曲线拟合得到x、y、z之间关系的规则。曲线拟合得到x、y、z之间关系的规则。 规则空间：构成知识库。规则空间：构成知识库。 验证过程 解释空间 示例空间规则空间 验证过程 解释空间 示例空间规则空间 从示例空间中选择新的示例，对刚归纳出的从示例空间中选择新的示例，对刚归纳出的 规则做进一步的修改和验证。规则做进一步的修改和验证。 四、类比学习（四、类比学习（Learning by Analogy ） 1)1) 利用相似性利用相似性来认识新事物；来认识新事物； 2)2) 通过类比推理通过类比推理获取新知识。获取新知识。 类比学习的基础是类比推理，类比推理的基础类比学习的基础是类比推理，类比推理的基础 是相似性。是相似性。 入侵检测： 是否是入侵？是何种入侵？ 如何检测？ 历史数据：以往的正常 访问模式及其表现、以往 的入侵模式及其表现 对当前访问模式分类 典型的预测型机器学习问题 五、解释学习（五、解释学习（Explanation-Based Learning） 1 1 9 9 8 8 6 6 年年 ， M Mitchellitchell 等 提 出 基 于 解 释 的 学 习等 提 出 基 于 解 释 的 学 习 方法。方法。 定义：解释学习是一种分析学习方法，由给定的定义：解释学习是一种分析学习方法，由给定的 领域知识进行演绎推理，存储有用结论，领域知识进行演绎推理，存储有用结论， 经过知识的编辑，产生适合于以后求解类似问题经过知识的编辑，产生适合于以后求解类似问题 的知识。的知识。 解释学习的描述框架：解释学习的描述框架： 已知：已知： 目目标概念标概念 GC 训练实例训练实例 TE 领域知识领域知识 DT 操作性标准操作性标准 OC 求出：满足求出：满足OC的关于的关于GC的充分概念描述。的充分概念描述。 要学习的目标概念要学习的目标概念 是为学习系统提供的一是为学习系统提供的一 个实例，它能够充分说个实例，它能够充分说 明目标概念；明目标概念； 相关领域的事实和规相关领域的事实和规 则，在学习系统中作为则，在学习系统中作为 背景知识背景知识 用于指导学习系统对描述目用于指导学习系统对描述目标标 概念进行取舍，使得通过学概念进行取舍，使得通过学习习 产生的关于目标概念产生的关于目标概念GC的一的一般般 性描述成为可用的一般性性描述成为可用的一般性知知 识。识。 6.4 数据挖掘数据挖掘 信息社会，人们积累的数据越来越多。激增信息社会，人们积累的数据越来越多。激增 的数据背后隐藏着许多重要信息，人们希望能对的数据背后隐藏着许多重要信息，人们希望能对 其进行更高层次的分析。其进行更高层次的分析。 6.4.1 数据挖掘的概念数据挖掘的概念 一、数据挖掘一、数据挖掘(Data Mining)的定义的定义 通过采用自动或半自动的手段，对数据进行通过采用自动或半自动的手段，对数据进行 一定的处理，从大量的、不完全的、有噪声的、一定的处理，从大量的、不完全的、有噪声的、 模糊的、随机的实际应用数据中，发现和提取有模糊的、随机的实际应用数据中，发现和提取有 意义的、隐含在其中的、人们事先不知道的、但意义的、隐含在其中的、人们事先不知道的、但 又是有效的、新颖的、潜在有用的、最终可被理又是有效的、新颖的、潜在有用的、最终可被理 解的信息和知识的过程。解的信息和知识的过程。 数据挖掘与传统分析方法区别数据挖掘与传统分析方法区别 ?传统的数据分析传统的数据分析如查询、报表等。如查询、报表等。 ?数据挖掘是在没有明确假设的前提下去挖掘信数据挖掘是在没有明确假设的前提下去挖掘信 息、发现知识，所得到的信息应具有先未知，息、发现知识，所得到的信息应具有先未知， 有效和可实用三个特征。即数据挖掘是要发现有效和可实用三个特征。即数据挖掘是要发现 那些不能靠直觉发现的信息或知识，甚至是违那些不能靠直觉发现的信息或知识，甚至是违 背直觉的信息或知识，挖掘出的信息越是出乎背直觉的信息或知识，挖掘出的信息越是出乎 意料，就可能越有价值。意料，就可能越有价值。 二、数据挖掘和数据仓库二、数据挖掘和数据