#*厦门大学本科课程教学大纲课程名称大数据技术原理与应用课程代码英文类别代号CSCI授课对象计算机、软件工程等信息相关专业适用年级本科生大三或大四课程类型通识教育课程课程课型总学分总学时授课讨论实验/上机实践其他232320000先修课程编程语言一、课程简介大数据技术入门课程，为学生搭建起通向“大数据知识空间”的桥梁和纽带，以“构建知识体系、阐明基本原理、引导初级实践、了解相关应用”为原则，为学生在大数据领域“深耕细作”奠定基础、指明方向。课程将系统讲授大数据的基本概念、大数据处理架构Hadoop、分布式文件系统HDFS、分布式数据库HBase、NoSQL数据库、云数据库、分布式并行编程模型MapReduce、基于内存的大数据处理架构Spark、大数据在互联网、生物医学和物流等各个领域的应用。在Hadoop、HDFS、HBase、MapReduce、Spark等重要章节，安排了入门级的实践操作，让学生更好地学习和掌握大数据关键技术。二、培养目标（1） 能够建立对大数据知识体系的轮廓性认识，了解大数据发展历程、基本概念、主要影响、应用领域、关键技术、计算模式和产业发展，并了解云计算、物联网的概念及其与大数据之间的紧密关系；（2） 能够了解Hadoop的发展历史、重要特性和应用现状，Hadoop项目结构及其各个组件，并熟练掌握Hadoop平台的安装和使用方法；（3） 能够了解分布式文件系统的基本概念、结构和设计需求，掌握Hadoop分布式文件系统HDFS的重要概念、体系结构、存储原理和读写过程，并熟练掌握分布式文件系统HDFS的使用方法；（4） 能够了解分布式数据库HBase的访问接口、数据模型、实现原理和运行机制，并熟练掌握HBase的使用方法；（5） 能够了解NoSQL数据库与传统的关系数据库的差异、NoSQL数据库的四大类型以及NoSQL数据库的三大基石；基本掌握Redis、MongoDB等NoSQL数据库的使用方法；（6） 能够了解云数据库的概念、基本原理和代表性产品的使用方法；（7） 能够熟练掌握分布式编程框架MapReduce的基本原理和编程方法；（8） 能够了解大数据处理架构Spark的基本原理和编程方法；能够了解大数据在互联网等领域的典型应用。三、教学方法（1） 本课程采用理论授课与学生课后上机实践相结合，帮助学生更好消化吸收课程知识。（2） 积极践行O2O教学理念，努力提升教学水平，在大数据课程教学方面积极开拓创新，实现线下教学和线上服务的巧妙结合。课程主讲教师建设了国内高校首个大数据课程公共服务平台，提供讲义PPT、课程习题、学习指南、授课视频、技术资料等全方位、一站式免费服务，帮助学生更好学习大数据课程。四、主要内容及学时安排 章（或节）主要内容学时安排1介绍大数据的基本概念和应用领域，并阐述大数据、云计算和物联网的相互关系22介绍大数据处理架构Hadoop43分布式文件系统HDFS的基本原理和使用方法44分布式数据库HBase的基本原理和使用方法45NoSQL数据库的概念和基本原理46云数据库的概念和基本原理27分布式并行编程模型MapReduce原理和使用方法48Hadoop架构再探讨29Spark原理与基础编程410大数据在互联网领域的典型应用：推荐系统2合计32五、考核方式与要求（1）平时成绩：学生完成上机练习题目，并提交上机实验报告，实验报告成绩作为平时成绩；（2）期末考试：采用笔试，闭卷；（3）最终成绩：平时成绩和期末考试成绩按5:5比例加权求和。六、选用教材大数据技术原理与应用概念、存储、处理、分析与应用林子雨编著，人民邮电出版社，2015年8月，第1版七、参考书目与文献1 陆嘉恒. Hadoop实战. 机械工业出版社. 2011年.2 曾大聃, 周傲英(译). Hadoop权威指南中文版. 清华大学出版社. 2010年.3 迪米达克 (Nick Dimiduk),卡拉纳 (Amandeep Khurana),谢磊. HBase实战中文版.人民邮电出版社; 第1版 (2013年9月1日)八、课程网站等支持条件课程主讲教师建设了国内高校首个大数据课程公共服务平台，提供讲义PPT、课程习题、学习指南、授课视频、技术资料等全方位、一站式免费服务，帮助学生更好学习大数据课程，网站地址：http:/dblab.xmu.edu.cn/post/4331/九、其它信息大纲制定者：林子雨 大纲审定者： 大纲制定时间：2016年11月XMU Undergraduate Course SyllabusCourse namePrinciples and Applications of Bigdata TechnologyCourse code Category codeCSCIProgrammeComputer Science, Software Engineering. etcSemesterSemester 2, Year 3Course typeBasic Common Courses General Education Courses Disciplinary General Courses Specialized CoursesOther Teaching ProcessesCourse focusLecture Experiment Skill-training PracticalCreditTotal learning hoursLectureTutorialExperimentPracticalOthers232320000PrerequisitesProgramming Language; 1.Course descriptionAn introductory course for bigdata. Knowledge discussed in this course include Hadoop, HDFS, HBase, NoSQL, cloud database, MapReduce, Spark, an so on.2. Learning goals(1) To help students to know about the basic knowledge map about bigdata;(2) To study the ecosystem of Hadoop and the installation and usage of Hadoop;(3) To study the well-known distributed file system, i.e. HDFS, including the architecture, storage theory, read-and-write process, programming methods, and so on;(4) To study the distributed database system i.e. HBbase, including the API, data model, implementation theory, and so on;(5) To study NoSQL, including the difference between SQL and NoSQL, CAP theory, BASE theory, NewSQL, and so on;(6) To study the basic concept and theory of cloud databases, and discuss several examples of cloud databases;(7) To study the distributed parallel programming model, i.e., MapReduce, including the shuffle process and programming practice;(8) To study the main-memory-based computing architecture, i.e., Spark, including the performance comparison between Spark and Hadoop, theory of RDD, programming method, and so on;(9) To study the applications of bigdata in various fields.3.Teaching approaches(1)The course mainly takes the form of lecture, and also the students are required to program on their own computer to better comprehend the knowledge of bigdata.(2)Large amount of online course resources are also provided to students, including course video, technical literature, ppt, programming guide, and so on.4. Content outline of the courseChapter(Section)ContentLearning hours1The basic concept of bidata; the relationship between bigdata, cloud computing and the Internet of Things.22The architecture and ecosystem of Hadoop43The basic principles and programming method of HDFS44The basic principles and programming method of HBase45The concept and principle of NoSQL46The concept and principle of cloud database27The distributed parallel programming model, namely MapReduce48To discuss more about Hadoop29The basic principle and programming method of Spark410The application of bigdata in the Internet field, namely recommending system.2Total325. Assessment methods and requirementsThe course