大数据平台构建课程标准大数据平台构建参考课程标准课程名称：大数据平台构建英文名称：课程代码：课程类别：专业基础课程学 时：64学 分：4适用专业：大数据技术考核方式：考试课/考查课终结性评价+过程性评价编写人：修订记录：审核人：二级学院/教学部盖章1.前言（黑体、小四）1.1课程的性质（宋体，五号）1.1.1大数据平台构建课程开设在大数据技术专业课程体系中的核心技能培养阶段（第3学期），是一门专业基础课程。其理论性、实践性、综合性都比较强，本课程以国产开源OpenEuler Linux操作系统来替代常用的CentOS Linux操作系统，介绍了Hadoop开源大数据平台的HDFS、MapReduce和YARN这几个核心组件的原理与工作机制，详细介绍了基于Hadoop的大数据平台安装、配置与验证的过程，以及Hadoop生态系统常用组件HBase、Hive、Spark的安装、配置、验证与基本使用。本课程共4个项目15个任务，项目由易到难、从单一到综合，各个项目间既有机联系，又相互独立，授课教师可以根据所教学生的学情分析结果选择某一个项目单独教学和进行任务实施。4个项目分别是：安装环境准备、Hadoop集群完全分布式部署、Hadoop生态系统常用组件部署、Hadoop HA集群部署4。1.1.2前置课程：Linux操作系统基础、网络技术基础、数据库原理与应用1.1.3后续课程：大数据分析技术、大数据可视化技术1.2设计思路1.2.1从岗位、典型工作任务、行动领域、学习领域、学习情境角度分析对应岗位岗位职责技能要求大数据运维工程师1、参与项目技术平台安装部署、日常运行维护与故障处理2、平台的自动化部署、运维、监控、告警处理，收集Hadoop的各项metrics指标，确保集群的正常工作3、能够针对Hadoop生态系统的批量部署场景进行运维调优、完善运维工具1、熟悉Hadoop平台的运维、调优2、能熟练编写Linux下的shell脚本，能使用及开发相关安全管理工具3、对运维的网络和存储能有一定理解4、熟悉Spark、Hbase、Hive等平台的运维计算本课程采用面向应用方向，以应用为中心构建课程体系，提出从理论到实际，从具体到抽象，从个别到一般，从零散到系统的方法， 实施“提出问题-解决问题-归纳分析”的教学三部曲，强调动手能力和对知识的运用能力，重点培养应用型人才。根据知识的深浅度进行实际学习，创设了6个学习情境：大数据平台构建背景、大数据处理架构Hadoop的安装与使用、分布式文件系统HDFS应用、分布式计算系统MapReduce、数据仓库基础构架Hive及大数据平台构建应用案例。通过实际案例对知识点进行串联发散。让学生掌握基础知识的同时有适当的提高。在教学过程中，主要以任务来驱动、以项目为导向，在教学过程中，每个项目都是来源于实际工作中的典型任务，项目和任务的学习与实施过程也就是工作过程，学生带着真实的学习任务，组成小组合作研究，分析任务、发展和提出问题，找出解决方法并予以实施，由其他小组及教师进行评价，在完成“任务”的过程中培养了学生的自主学习能力、创新能力、团队合作精神，分析问题和解决问题的能力。课程在设计时考虑主要以锻炼学生的动手能力为主，对于比较深惠难懂、但实际开发中运用较少的知识点尽量少讲或不讲，一切以实际项目为核心，使学生的课程学习和工作需要能完全吻合。1.2.2从教学模式、教学方法等角度分析学情分析：学生具备了数据库、计算机网络、Linux等基础；对云计算、大数据库等新兴技术有浓厚的兴趣；教学的重点和难点，需要加以引导和鼓励。教学组织形式上主要采用班级教学、分组教学的方法。教学方法主要采用：讲授教学法、演示教学法、讨论教学法。1.2.3从教学实施过程分析教学实施过程主要采用：讲解-示范-实施-评估。1.2.4从职业资格等角度分析职业资格证书方面，主要有：华为H13-711 HCNA-Big Data认证、华为H13-723 HCNP-Big Data-Developer认证可供学生选择考证。2.课程目标通过本课程的教学，使学生熟悉现行施工规范、标准，掌握建筑施工工艺和施工方法及质量验收方法，能针对不同的工程实际确定相应的施工方案和技术措施，具备从事施工管理工作的职业素质。具体目标如下：2.1知识目标2.1.1 了解大数据发展历程、基本概念、应用领域2.1.2 了解Hadoop的发展历史、重要特性和应用现状2.1.3 了解Hadoop生态系统及其各个组件2.1.4 理解分布式文件系统的基本概念、结构和设计需求2.1.5 理解Hadoop资源调度管理框架Yarn的作用和工作原理2.1.6 理解HBase的系统架构与工作原理2.1.7 理解Hive的系统架构与工作原理2.1.8 理解Spark的系统架构与工作原理2.2能力目标2.2.1 能够能对大数据平台构建需求进行分析2.2.2 能实现大数据平台架构设计、技术选型以及平台搭建2.2.3 能够自主完成Hadoop集群完全分布式部署2.2.4 能够熟练使用HDFS命令操作文件2.2.5 能够熟练使用hadoop命令测试运行Job2.2.6 能够熟练使用HBase Shell基本命令2.2.7 能够熟练使用Hive CLI进行基本命令操作2.2.8 能够熟练使用Spark SQL进行基本命令操作2.2.9 能够自主完成Hadoop HA集群的部署2.2.10 会查看和优化Hadoop平台参数2.2.11 会分析并排除安装配置过程中出错的错误2.3素质目标2.3.1 职业道德修养2.3.2 团队协作精神素质2.3.3 岗位需求素养2.3.4 创新能力培养3.课程内容和要求序号学习情境课程内容及教学要求活动设计参考学时(64学时)1了解大数据基本概念（1）了解大数据的基本概念和应用领域（2）理解大数据、云计算和物联网的相互关系（3）了解大数据领域主流开源组件的优缺点及适用场景（1）介绍大数据的基本概念和应用领域，并阐述大数据、云计算和物联网的相互关系；（2）学生分组查找大数据技术的应用领域及主流开源组件并讲解；（3）教师总结大数据领域主流开源组件的优缺点及适用场景42虚拟机软件VMware Workstation Pro的安装与使用（1）VMWware Workstation Pro虚拟机软件介绍（2）VMWware Workstation Pro网络连接模式（3）VMWware Workstation Pro软件的安装（4）VMWware Workstation Pro中创建虚拟机（1）讲解虚拟机软件作用（2）重点讲解虚拟机网络连接模式（3）讲解虚拟机软件安装过程，重点介绍系统生成的虚拟网卡VMNet1、VMNet8与网络连接模式之间的关系（5）教师演示、学生实操，也可学生课前预习，课中学生实操作与教师答疑43OpenEuler Linux操作系统的安装与基础使用（1）OpenEuler Linux操作系统介绍（2）Linux中查询系统信息（3）Linux系统配置网络（4）Linux系统管理服务（5）Linux系统管理软件（6）Linux系统vi编辑器（1）讲解OpenEuler Linux操作系统（2）重点讲解Linux系统使用nmcli命令配置静态网络地址的方法（3）讲解Linux系统中使用dnf命令管理软件包的方法（4）重点讲解使用dnf命令配置软件源仓库方法（5）重点讲解Linux系统文本编辑器vi使用方法（6）重点讲解Linux系统中ftp、http服务的安装与配置（7）教师演示、学生实操，也可学生课前预习，课中学生实操作与教师答疑124Hadoop集群完全分布式部署（1）Hadoop四种部署模式（2）Hadoop集群系统架构（3）Hadoop集群完全分布式部署的服务器角色规划（4）Hadoop集群完全分布式部署的基本环境安装、配置与验证（5）Hadoop集群完全分布式部署的HDFS安装、配置、启动与验证（6）Hadoop集群完全分布式部署的YARN安装、配置、启动与验证（1）讲解Hadoop的四种部署模式（2）重点讲解Hadoop集群的系统架构（3）讲解Hadoop集群完全分布式部署服务器角色（4）讲解Hadoop集群完全分布式部署的基本环境配置，重点讲解软件源仓库、时间同步服务、SSH免密登录安装与配置方法（5）讲解Hadoop集群完全分布式部署的HDFS安装、配置、启动与验证，重点讲解启动与验证出现错误的解决办法（6）讲解HDFS分布式文件系统的基本操作命令（7）讲解Hadoop集群完全分布式部署的YARN安装、配置、启动与验证，重点讲解启动与验证出现错误的解决办法（8）讲解测试运行Job（9）教师演示、学生实操，也可学生课前预习，课中学生实操作与教师答疑165HBse安装部署与基本使用（1）HBse介绍（2）HBse系统架构（3）HBse常用Shell命令（1）讲解HBase简介及其系统架构（2）讲解HBase单机模式部署（3）重点讲解HBase完全分布式部署过程（4）讲解HBase Shell常用命令使用方法（5）教师演示、学生实操，也可学生课前预习，课中学生实操作与教师答疑86Hive安装部署与基本使用（1）Hive介绍（2）Hive系统架构（3）Hive安装模式与连接方式（4）Hive常用命令（1）讲解Hive简介及其系统架构（2）讲解Hive元数据内嵌模式安装（3）重点讲解Hive远程模式安装、配置与验证（4）重点讲解Hive CLI的基本使用与Hive SQL常用命令（5）教师演示、学生实操，也可学生课前预习，课中学生实操作与教师答疑87Spark安装部署与基本使用（1）Spark介绍（2）Spark系统架构（3）Spark运行模式（4） Spark应用程序提交的部署模式（5）Spark SQL CLI使用（1）讲解Spark简介及其系统架构（2）讲解Spark Local模式安装（3）讲解Spark Standalone模式安装（4）重点讲解Spark on Yarn模式安装（5）讲解Spark SQL CLI的基本使用（6）教师演示、学生实操，也可学生课前预习，课中学生实操作与教师答疑88Hadoop HA集群部署（1）Hadoop HA 介绍（2）Hadoop HA系统架构与工作原理（3）Hadoop HA部署的服务器角色规划（4）Zookeeper安装与配置（5）HDFS HA安装、配置、启动与验证(6)YARN HA安装、配置、启动与验证（1）讲解Hadoop HA集群的系统架构与工作原理（2）讲解Hadoop HA集群部署的服务器角色（3）讲解HDFS HA集群的安装、配置、启动与验证，重点讲解启动与验证出现错误的解决办法（4）讲解YARN HA集群的安装、配置、启动与验证，重点讲解启动与验证出现错误的解决办法（5）教师演示、学生实操，也可学生课前预习，课中学生实操作与教师答疑124.实施建议4.1教材选用或编写建议1、大数据平台构建，方明清著，西安电