大数据技术应用课程标准大数据技术应用课程标准 课程名称：大数据技术应用课程名称：大数据技术应用 适用专业：云计算技术与应用适用专业：云计算技术与应用 课程代码：课程代码： 参考学时：参考学时：6464 一、课程概述一、课程概述 1.1. 课程定位课程定位 大数据技术应用课程是一门面向各类专业的大数据应用通识性入门课程。在国家推行大数据落地并鼓励高校开设创新创业教育课程的背景下，本课程属于创新型课程，目前在计算机应用、经管类、财务会计、电子商务、物联网、数据分析等专业已经逐步推行，可作为各适用专业的必修课程。 本课程旨在通过介绍大数据产生、大数据技术基础、大数据处理、分析、挖掘和可视化的完整过程，让学生了解大数据是什么及其应用价值，全方位了解理论知识。同时结合工具和开发语言实现数据采集、存储、处理、分析、挖掘以及可视化等操作，利用实践操作和应用案例促进学生动手分析能力，掌握运用大数据分析软件的技能和方法。 2.2. 课程设计思路和理念课程设计思路和理念 （1）设计思路 本课程主要理论结合实践， 每个章节讲解理论的同时以各种软件实操和案例作为论证和巩固，提高学生学习的趣味。此外本课程包含众多实操分析案例，在案例操作的过程中，一方面需要指导学生完成案例操作的任务，利用工具和开发语言实现数据采集、存储、处理、分析、挖掘以及可视化等技能，另一方面需要激发学生主动学习、深入研究的热情。 本课程立足于实际能力培养， 打破以知识传授为主要特征的传统学科课程模式，转变为以实际操作任务为中心组织课程内容和课程教学，整合理论和实践，让学生在完成具体案例的过程中来构建和了解相关理论知识体系， 并发展大数据技术应用的职业能力。本课程实施项目教学以改变学与教的行为。 （2）设计理念 根据不同专业，在内容的选择上，要从结合本专业综合技能和加强应用的角度选择教材的内容，大胆取舍，并适当补充贴合本专业的数据分析案例，以满足专业岗位的需求。实施模块化的、弹性的、互动的、多层次的教学，以满足职业岗位群的需求。打破以教材为主的教学内容，结合额外的案例资源、网络视频资源等形成一套崭新的教学内容。这套内容要弱化形式化的理论讲述，强化工具的实际应用。同时以学生为中心，充分发挥学生自主学习和探索的主观能动性，加强互动讨论和分享的团队协作能力，结合数据分析工具魔镜自身的使用特点，不必拘泥于固有的功能操作，驱动学生灵活变化，培养学生形成自主思考和探索式分析的思维和技巧。 二、课程目标二、课程目标 1. 1. 总体目标总体目标 通过大数据应用技术课程的学习，使学生具有全面完整的大数据分析思路及应用实践能力。掌握大数据分析基础理论知识，能够熟练运用工具和开发语言实现数据采集、存储、处理、分析、挖掘以及可视化等操作，并得出逻辑清晰的可视化业务分析报告，解决实际问题。 2. 2. 能力目标能力目标 具备在 Linux 操作系统下安装和配置 Hadoop 的能力 具备大数据采集的能力 掌握 HDFS、Hbase 和 NoSQL 的使用方法 具备编写 MapReduce 程序的能力 掌握数据仓库 Hive 与数据分析 Pig 技术 掌握数据仓库及数据挖掘的相关工具的使用方法 掌握 Tableau 的多种数据可视化分析方法 三、能力解析表三、能力解析表 能力目标 具备在 Linux 操作系统下安装和配置 Hadoop 的能力 编号 1 具体描述 了解 Hadoop 发展史、特性及应用现状，掌握 Hadoop 体系结构及核心组件，通过例举 Hadoop 应用案例，深入了解 Hadoop 架构体系的应用，掌握如何在 Linux 操作系统下安装和配置 Hadoop。 步骤 1了解 Hadoop 发展史、特性及应用现状 2掌握 Hadoop 体系结构及核心组件 3例举 Hadoop 应用案例，深入了解 Hadoop 架构体系的应用 工具与设备 1Windows 操作系统 2VirtualBox 软件 3Ubuntu14.04 知识基础 1大数据时代背景 2大数据的基本概念 3Hadoop 平台的搭建 态度、素质 1职业态度，敬业精神，团队协作精神 2就业竞争力和发展潜力 3职业素质与职业技能 考核标准 1Hadoop 体系结构及核心组件 2在 Linux 操作系统下安装和配置 Hadoop 能力目标 具备大数据采集的能力 编号 2 具体描述 掌握大数据采集的基本概念，初步了解大数据采集的数据来源和大数据采集的技术方法，从而为后面的学习奠定基础。 步骤 1大数据采集的基本概念 2数据采集的各种方法 3数据采集的 ETL 工具 工具与设备 1多媒体 2慕课微课 3. 专业软件 知识基础 1云计算的概念 2大数据的概念，云计算及大数据技术的关系 3大数据采集的基本概念 态度、素质 1具备一定的思维能力 2具备一定的逻辑判断能力 3良好的自我学习能力 考核标准 1大数据采集的基本概念 2大数据采集的数据来源 3大数据采集的技术方法 能力目标 掌握 HDFS、Hbase 和 NoSQL 的使用方法 编号 3 具体描述 能够了解分布式文件系统的基本概念、结构和设计需求，掌握 Hadoop 分布式文件系统 HDFS 的重要概念、体系结构、存储原理和读写过程，并熟练掌握分布式文件系统 HDFS 的使用方法；能够了解分布式数据库 HBase 的访问接口、数据模型、实现原理和运行机制，并熟练掌握 Hbase 的使用方法；能够了解 NoSQL 数据库与传统的关系数据库的差异、NoSQL 数据库的四大类型以及 NoSQL 数据库的三大基石；基本掌握 Redis、MongoDB 等 NoSQL 数据库的使用方法； 步骤 1熟练掌握分布式文件系统 HDFS 的使用方法 2熟练掌握 Hbase 的使用方法 3基本掌握 Redis、MongoDB 等 NoSQL 数据库的使用方法 工具与设备 1Hadoop 安装包 2Ubuntu 系统 3Eclipse 和 JavaJDK 知识基础 1具备 Ubuntu 基础知识与操作 2具备 java 基本编程能力 3熟悉 Eclipse 操作 4会 Hadoop 安装与配置 态度、素质 1培养学生守时、质量、规范、诚信、责任等方面的意识； 2培养学生分析问题、解决问题和再学习的能力； 3培养学生创新、交流与团队合作能力； 4培养学生严谨的工作作风和勤奋努力的工作态度； 5培养学生较强的掌握新技术、新设备和新系统的能力。 考核标准 1Hadoop 分布式文件系统 HDFS 的概念、体系结构、存储原理和读写过程 2分布式文件系统 HDFS 的使用方法 3分布式数据库 HBase 的访问接口、数据模型、实现原理和运行机制 4Hbase 的使用方法 5NoSQL 数据库与传统的关系数据库的差异 6NoSQL 数据库的四大类型以及 NoSQL 数据库的三大基石 7Redis、MongoDB 等 NoSQL 数据库的使用方法 能力目标 具备编写 MapReduce 程序的能力 编号 4 具体描述 培养学生对数据处理 MapReduce 的理论学习能力，使学生了解所需的开发环境eclipse，领会 Map 过程与 Reduce 过程的工作原理，了解使用 MapReduce 解决实际问题时的步骤和思路，识记 MapReduce 代码的不同功能。 步骤 1掌握 MapReduce 的基础知识 2了解所需的开发环境 eclipse 3掌握 Map 过程与 Reduce 过程的工作原理 4了解使用 MapReduce 解决实际问题时的步骤和思路，识记 MapReduce 代码的不同功能。 工具与设备 1Windows 7 操作系统 2SQL Server 2008 R2 知识基础 1MapReduce 的概念 2配置 Hadoop MapReduce 开发环境 3编写和运行 MapReduce 程序前的准备 4. MapReduce 应用案例 态度、素质 1培养学生认真学习基本理论的学习态度 2学生决定能力、计划能力、自学能力的掌握 3记忆力培训，传达能力、沟通能力的培养 考核标准 1MapReduce 的基础知识 2MapReduce 的开发环境 eclipse 3Map 过程、Reduce 过程的工作原理 4编写 MapReduce 程序 能力目标 掌握数据仓库 Hive 与数据分析 Pig 技术 编号 5 具体描述 能够掌握基于 Hadoop 的数据仓库 Hive 的安装、配置、数据定义及查询统计等操作，掌握数据分析平台 Pig 的安装、配置、基本语法及简单应用。 步骤 1掌握基于 Hadoop 的数据仓库 Hive 的安装、配置 2掌握基于 Hadoop 的数据仓库 Hive 的数据定义及查询统计等基本操作 3掌握数据分析平台 Pig 的安装、配置及简单应用 工具与设备 1Linux 操作系统、Hadoop 平台 2Hive 软件包、MySQL 数据库 3Pig 安装包 知识基础 1熟悉 MySQL 数据库 2熟悉 SQL 相关语法 3熟悉 Java 相关语法 态度、素质 1勤奋好学、踏实肯干的工作态度 2较强的语言表达、沟通能力、团队合作和协作精神 3良好的心理素质和社会责任感 考核标准 1基于 Hadoop 的数据仓库 Hive 的安装、配置 2基于 Hadoop 的数据仓库 Hive 的数据定义及查询统计 3数据分析平台 Pig 的安装、配置及简单应用 4数据分析平台 Pig 的简单应用 能力目标 掌握数据仓库及数据挖掘的相关工具的使用方法 编号 6 具体描述 培养学生了解数据仓库与数据挖掘基础理论，理解数据仓库体系结构和数据模型的分析构建，掌握常用工具的使用，通过理论联系实际，加深对数据仓库与数据挖掘的进一步理解。 步骤 1掌握数据仓库与数据挖掘的基本概念、特征； 2理解数据仓库的体系结构、数据模型； 3掌握数据挖掘的步骤、常用方法； 4. 认知数据仓库及数据挖掘的常用工具。 工具与设备 1Windows 7 操作系统 2SQL Server 2008 R2 知识基础 1数据仓库、数据挖掘的概念 2数据仓库的体系结构与数据模型 3数据挖掘的常用方法 态度、素质 1培养学生认真学习基本理论的学习态度 2学生决定能力、计划能力、自学能力的掌握 3记忆力培训，传达能力、沟通能力的培养 考核标准 1数据仓库与数据挖掘的基本概念、特征 2数据仓库的体系结构、数据模型 3数据挖掘的步骤、常用方法 4. 数据仓库及数据挖掘的常用工具使用 能力目标 掌握 Tableau 的多种数据可视化分析方法 编号 7 具体描述 利用 Tableau 实现数据可视化分析模块,通过对 Tableau 的介绍掌握 Tableau 的多种数据可视化分析方法。 步骤 1了解什么是数据可视化 2能够掌握数据可视化分析的常用方法 3可以利用 Tableau 实现数据可视化分析操作 工具与设备 1Tableau server 知识基础 1Windows 操作 2大数据基础知识 3Excel 基本操作 态度、素质 1有严谨、负责的态度 2清晰地逻辑思维能力 3勇于创新、有团队协作意识 考核标准 1数据可视化的基本概念 2数据可视化分析的常用方法 3利用 Tableau 实现数据可视化分析操作 四、课程内容四、课程内容 1 1基本框架基本框架 序号 学习任务 学习活动 教学方法 参考学时 l 大数据处理架构 Hadoop Hadoop 简介 讲授法 2 Hadoop 体系结构及核心组件 讲授法 4 序号 学习任务 学习活动 教学方法 参考学时 Hadoop 应用案例 讲授法、案例教学 2 2 数据采集 数据采集的简介 讲授法 1 数据的抽取 理实一体 1 数据的清洗转换 理实一体 1 数据的加载 理实一体 1 3 大数据存储技术 分布式文件系统 HDFS 简介 讲授法 1 HDFS 的读写过程 案例教学法 3 分布式数据库 Hbase 简介 讲授法 2 Hbase 的安装与编程 案例教学法 4 NoSQL 数据库简介 讲授法