1 人 工 智 能 课 程 结 课 论 文课 题 ： 机 器 学 习 与 大 数 据姓 名 ：学 号 ：班 级 ：指 导 老 师 ：2015 年 11 月 13 日1机 器 学 习 与 大 数 据摘 要大 数 据 并 不 仅 仅 是 指 海 量 数 据 ， 而 更 多 的 是 指 这 些 数 据 都 是 非 结 构 化 的 、 残缺 的 、 无 法 用 传 统 的 方 法 进 行 处 理 的 数 据 。 大 数 据 时 代 的 来 临 ， 随 着 产 业 界 数 据量 的 爆 炸 式 增 长 ,大 数 据 概 念 受 到 越 来 越 多 的 关 注 。 然 而 随 着 大 数 据 “ 越 来 越 大 ”的 发 展 趋 势 ， 我 们 在 分 析 和 处 理 的 过 程 中 感 觉 到 的 困 难 也 愈 加 的 多 了 。 这 个 时 候我 们 想 到 了 机 器 学 习 。 机 器 学 习 几 乎 无 处 不 在 ， 即 便 我 们 没 有 专 程 调 用 它 们 ， 它们 也 经 常 出 现 在 大 数 据 应 用 之 中 ， 大 数 据 环 境 下 机 器 学 习 的 创 新 和 发 展 也 倍 加 受到 了 关 注 。关 键 词 ： 大 数 据 ； 机 器 学 习 ； 大 数 据 时 代Machine learning and big dataAbstractBig data is not only refers to the huge amounts of data, and to talk about thesedata are structured, broken, cant use the traditional method of processingdata.Coming of the era of big data, with the industry to the explosion of data volumes,large data concept is more and more attention.However, as the data, the developmenttrend of growing in the process of analysis and processing we feel is moredifficult.This time we thought about the machine learning.Machine learning is almosteverywhere, even if we dont have to call them specially, they are also often appear inthe big data applications, large data machine learning under the environment ofinnovation and the development also has received the attention.K eywords:Big Data;Machine learning;Age of Big Data2目 录第 1章 引 言 .2第 2章 机 器 学 习 与 大 数 据 .32.1 机 器 学 习 .32.2 大 数 据 .3第 3章 大 数 据 时 代 下 的 机 器 学 习 .33.1 大 数 据 时 代 .33.2 机 器 学 习 已 成 为 大 数 据 的 基 石 .33.3 机 器 学 习 帮 助 数 据 日 志 的 分 析 解 决 .4第 4章 大 数 据 时 代 应 运 而 生 的 机 器 学 习 新 趋 势 .44.1 机 器 学 习 的 研 究 方 向 .44.2 机 器 学 习 适 应 大 数 据 时 代 发 展 .4第 5章 结 束 语 .5参 考 文 献 .5第 1 章 引 言机 器 学 习 几 乎 无 处 不 在 ， 即 便 我 们 没 有 专 程 调 用 它 们 ， 它 们 也 经 常 出 现 在 大数 据 应 用 之 中 。 随 着 产 业 界 数 据 量 的 爆 炸 式 增 长 ， 大 数 据 概 念 受 到 越 来 越 多 的 关注 。 研 究 大 数 据 环 境 下 的 机 器 学 习 算 法 成 为 学 术 界 和 产 业 界 共 同 关 注 的 话 题 。 机器 学 习 是 继 专 家 系 统 后 人 工 智 能 应 用 的 又 一 重 要 研 究 领 域 ， 也 是 人 工 智 能 和 神 经计 算 的 核 心 研 究 课 题 之 一 。 随 着 产 业 界 数 据 量 的 爆 炸 式 增 长 ， 数 据 以 前 所 未 有 的速 度 积 累 ， 大 数 据 (Bigdata)概 念 受 到 越 来 越 多 的 关 注 。 大 数 据 正 在 给 数 据 密 集型 企 业 带 来 丰 厚 的 利 润 ， 大 数 据 是 现 有 产 业 升 级 与 新 产 业 诞 生 的 保 障 。3第 2 章 机 器 学 习 与 大 数 据2.1 机 器 学 习机 器 学 习 已 成 为 新 的 边 缘 学 科 并 在 高 校 形 成 一 门 课 程 。 它 综 合 应 用 心 理 学 、生 物 学 和 神 经 生 理 学 以 及 数 学 、 自 动 化 和 计 算 机 科 学 形 成 机 器 学 习 理 论 基 础 。 机器 学 习 与 人 工 智 能 各 种 基 础 问 题 的 统 一 性 观 点 正 在 形 成 。 例 如 学 习 与 问 题 求 解 结合 进 行 、 知 识 表 达 便 于 学 习 的 观 点 产 生 了 通 用 智 能 系 统 SOAR的 组 块 学 习 。 类 比学 习 与 问 题 求 解 结 合 的 基 于 案 例 方 法 已 成 为 经 验 学 习 的 重 要 方 向 。 学 习 是 一 项 复杂 的 智 能 活 动 ， 学 习 过 程 与 推 理 过 程 是 紧 密 相 连 的 ， 按 照 学 习 中 使 用 推 理 的 多 少 ，机 器 学 习 所 采 用 的 策 略 大 体 上 可 分 为 4种 机 械 学 习 、 通 过 传 授 学 习 、 类 比 学习 和 通 过 事 例 学 习 。 学 习 中 所 用 的 推 理 越 多 ， 系 统 的 能 力 越 强 。 12.2 大 数 据随 着 大 数 据 时 代 的 到 来 ,大 数 据 逐 渐 成 为 学 术 界 和 产 业 界 的 热 点 、 国 际 数 据公 司 定 义 了 大 数 据 的 四 大 特 征 ： 海 量 的 数 据 规 模 （ vast） 、 快 速 的 数 据 流 转 和 动态 的 数 据 体 系 （ velocity） 、 多 样 的 数 据 类 型 （ variety） 和 巨 大 的 数 据 价 值（ value） 。2“ 大 数 据 ” 是 需 要 新 处 理 模 式 才 能 具 有 更 强 的 决 策 力 、 洞 察 发 现力 和 流 程 优 化 能 力 的 海 量 、 高 增 长 率 和 多 样 化 的 信 息 资 产 。 大 数 据 技 术 的 战 略 意义 不 在 于 掌 握 庞 大 的 数 据 信 息 ， 而 在 于 对 这 些 含 有 意 义 的 数 据 进 行 专 业 化 处 理 。换 言 之 ， 如 果 把 大 数 据 比 作 一 种 产 业 ， 那 么 这 种 产 业 实 现 盈 利 的 关 键 ， 在 于 提 高对 数 据 的 “ 加 工 能 力 ” ， 通 过 “ 加 工 ” 实 现 数 据 的 “ 增 值 ” 。 3在 很 多 领 域 ， 如 互 联 网 和 金 融 领 域 ， 训 练 实 例 的 数 量 是 非 常 大 的 ， 每 天 汇 合几 十 亿 事 件 的 数 据 集 是 很 常 见 的 。 另 外 ， 越 来 越 多 的 设 备 包 括 传 感 器 ， 持 续 记 录观 察 的 数 据 可 以 作 为 训 练 数 据 ， 这 样 的 数 据 集 可 以 轻 易 地 达 到 几 百 TB。 当 前 全球 和 我 国 大 数 据 都 呈 现 了 井 喷 式 爆 发 性 增 长 ， 大 数 据 已 经 渗 透 到 各 个 行 业 和 业 务职 能 领 域 ， 成 为 重 要 的 生 产 因 素 ， 大 数 据 的 演 进 与 生 产 力 的 提 高 有 着 直 接 的 关 系 。第 3 章 大 数 据 时 代 下 的 机 器 学 习3.1 大 数 据 时 代大 数 据 将 成 为 各 类 机 构 和 组 织 ， 乃 至 国 家 层 面 重 要 的 战 略 资 源 。 重 视 数 据 资4源 的 搜 集 、 挖 掘 、 分 享 与 利 用 ， 成 为 当 务 之 急 。 大 数 据 的 公 开 与 分 享 成 为 大 势 所趋 ， 政 府 部 门 必 须 身 先 士 卒 ， 机 构 组 织 的 变 革 与 全 球 治 理 成 为 必 然 的 选 择 。 43.2 机 器 学 习 已 成 为 大 数 据 的 基 石机 器 学 习 对 大 数 据 应 用 投 资 回 报 的 贡 献 主 要 体 现 在 两 个 方 面 ： 一 是 促 进 数 据科 学 家 们 的 多 产 性 ； 二 是 发 现 一 些 被 忽 视 的 方 案 ， 有 些 方 案 甚 至 遭 到 了 最 好 的 数据 科 学 家 们 的 忽 视 。 这 些 价 值 来 自 于 机 器 学 习 的 核 心 功 能 ： 即 让 分 析 算 法 无 需 人类 干 预 和 显 式 程 序 即 可 对 最 新 数 据 进 行 学 习 。 许 多 情 况 下 ， 机 器 学 习 是 大 数 据 创新 的 最 佳 投 资 回 报 。 对 机 器 学 习 的 投 资 能 够 深 化 任 何 对 企 业 定 制 的 大 数 据 案 例 。“ 深 入 学 习 ” （ deep learning） 成 为 了 大 数 据 科 学 家 的 机 器 学 习 指 令 系 统中 的 一 个 重 要 工 具 。 利 用 神 经 网 络 开 展 的 深 入 学 习 有 助 于 从 这 些 数 据 流 中 提 取 感知 能 力 ， 因 为 这 些 数 据 流 可 能 涉 及 组 成 对 象 之 间 语 义 关 系 的 层 次 结 构 安 排 。 53.3 机 器 学 习 帮 助 数