2023年山东省职业院校技能大赛高职组“大数据应用开发”赛项任务书参赛队编号： 背景描述大数据时代背景下，电商经营模式发生很大改变。在传统运营模式中，缺乏数据积累，人们在做出一些决策行为过程中，更多是凭借个人经验和直觉，发展路径比较自我封闭。而大数据时代，为人们提供一种全新的思路，通过大量的数据分析得出的结果将更加现实和准确。商家可以对客户的消费行为信息数据进行收集和整理，比如消费者购买产品的花费、选择产品的渠道、偏好产品的类型、产品回购周期、购买产品的目的、消费者家庭背景、工作和生活环境、个人消费观和价值观等。通过数据追踪，知道顾客从哪儿来，是看了某网站投放的广告还是通过朋友推荐链接，是新访客还是老用户，喜欢浏览什么产品，购物车有无商品，是否清空，还有每一笔交易记录，精准锁定一定年龄、收入、对产品有兴趣的顾客，对顾客进行分组、标签化，通过不同标签组合运用，获得不同目标群体，以此开展精准推送。因数据驱动的零售新时代已经到来，没有大数据，我们无法为消费者提供这些体验，为完成电商的大数据分析工作，你所在的小组将应用大数据技术，以Scala、Java作为整个项目的基础开发语言，基于大数据平台综合利用Spark、Flink、Vue.js等技术，对数据进行处理、分析及可视化呈现，你们作为该小组的技术人员，请按照下面任务完成本次工作。模块A：大数据平台搭建（容器环境）（10分）环境说明：服务端登录地址详见各模块服务端说明。补充说明：宿主机可通过Asbru工具或SSH客户端进行SSH访问；相关软件安装包在容器Master节点的/opt/software目录下，请选择对应的安装包进行安装，用不到的可忽略；所有模块中应用命令必须采用绝对路径；进入Master节点的方式为docker exec -it master /bin/bash进入Slave1节点的方式为docker exec -it slave1 /bin/bash进入Slave2节点的方式为docker exec -it slave2 /bin/bash三个容器节点的root密码均为123456任务一：Hadoop 完全分布式安装配置本环节需要使用root用户完成相关配置，安装Hadoop需要配置前置环境。命令中要求使用绝对路径，具体部署要求如下:1、 将容器Master节点JDK安装包解压并移动到/opt/module路径中(若路径不存在，则需新建)，将命令复制并粘贴至客户端桌面【Release模块A提交结果.docx】中对应的任务序号下;2、 修改/etc/profile文件，设置JDK环境变量，配置完毕后在master节点分别执行“java -version”和“javac”命令，将命令行执行结果分别截图并粘贴至客户端桌面【Release模块A提交结果.docx】中对应的任务序号下;3、 请完成host相关配置，将三个节点分别命名为master、slave1、slave2，并做免密登录，用scp命令并使用绝对路径从master复制JDK解压后的安装文件到slave1、slave2节点（若路径不存在，则需新建），并配置slave1、slave2相关环境变量，将全部复制命令复制并粘贴至客户端桌面【Release模块A提交结果.docx】中对应的任务序号下;4、 在容器Master将Hadoop解压到/opt/module(若路径不存在，则需新建)目录下，并将解压包分发至slave1、slave2中,其中master、slave1、slave2节点均作为datanode,配置好相关环境，初始化Hadoop环境namenode，将初始化命令及初始化结果截图（截取初始化结果结束倒数20行即可）复制粘贴至客户端桌面【Release模块A提交结果.docx】中对应的任务序号下；5、 启动Hadoop集群（包括hdfs和yarn），使用jps命令查看master节点与slave1节点的java进程，将jps命令与结果截图复制粘贴至客户端桌面【Release模块A提交结果.docx】中对应的任务序号下。任务二：HBase分布式部署本环节需要使用root用户完成相关配置，安装HBase需要配置Hadoop和ZooKeeper等前置环境。命令中要求使用绝对路径，具体要求如下:1、 确认是否完成Hadoop和ZooKeeper的分布式安装部署，若没有请进行安装部署并启动。完成部署后在三个节点分别使用jps命令，并将结果分别截图粘贴至客户端桌面【Release模块A提交结果.docx】中对应的任务序号下；2、 将容器Master节点HBase安装包解压到/opt/module目录下，将解压命令复制并粘贴至客户端桌面【Release模块A提交结果.docx】中对应的任务序号下；3、 用scp命令并使用绝对路径从master复制HBase解压后的包分发至slave1、slave2中，并修改相关配置，配置好环境变量，在容器Master节点中运行命令hbase version，将全部复制命令复制并将hbase version命令的结果截图粘贴至客户端桌面【Release模块A提交结果.docx】中对应的任务序号下;4、 启动HBase后在三个节点分别使用jps命令查看，并将结果分别截图粘贴至客户端桌面【Release模块A提交结果.docx】中对应的任务序号下；正常启动后在hbase shell中查看命名空间，将查看命名空间的结果截图粘贴至客户端桌面【Release模块A提交结果.docx】中对应的任务序号下。任务三：ClickHouse单机部署本环节需要使用root用户完成相关配置，具体要求如下：1、 将容器Master节点ClickHouse相关安装包解压到/opt/module/clickhouse目录下（若路径不存在，则需新建），将全部解压命令复制并粘贴至客户端桌面【Release模块A提交结果.docx】中对应的任务序号下；2、 执行启动各个相关脚本，将全部启动命令复制并将执行结果（截取结果最后倒数15行即可）截图粘贴至客户端桌面【Release模块A提交结果.docx】中对应的任务序号下；3、 设置远程访问并移除默认监听文件（listen.xml），同时由于9000端口被Hadoop占用，需要将clickhouse的端口更改为9001，将上述要求的设置远程访问配置文件配置截图、端口更改后配置文件配置复制并粘贴至客户端桌面【Release模块A提交结果.docx】中对应的任务序号下；4、 启动clickhouse，启动后查看clickhouse运行状态，并将启动命令复制、查看运行状态命令复制并将执行结果截图粘贴至客户端桌面【Release模块A提交结果.docx】中对应的任务序号下。模块B：数据采集（15分）环境说明：服务端登录地址详见各模块服务端说明。补充说明：各节点可通过Asbru工具或SSH客户端进行SSH访问；主节点MySQL数据库用户名/密码：root/123456（已配置远程连接）；Hive的配置文件位于主节点/opt/module/hive-3.1.2/conf/ Spark任务在Yarn上用Client运行，方便观察日志；建议使用gson解析json数据。任务一：离线数据采集编写Scala工程代码，将MySQL的ds_db01库中表order_master、order_detail、coupon_info、coupon_use、product_browse、product_info、customer_inf、customer_login_log、order_cart、customer_level_inf、customer_addr的数据增量抽取到Hive的ods库中对应表order_master、order_detail、coupon_info、coupon_use、product_browse、product_info、customer_inf、customer_login_log、order_cart、customer_level_inf、customer_addr中(ods库中部分表没有数据，正常抽取即可)。 1、 抽取ds_db01库中order_master的增量数据进入Hive的ods库中表order_master。根据ods.order_master表中modified_time作为增量字段，只将新增的数据抽入，字段名称、类型不变，同时添加静态分区，分区字段为etl_date，类型为String，且值为当前比赛日的前一天日期（分区字段格式为yyyyMMdd）。使用hive cli执行show partitions ods.order_master命令，将执行结果截图粘贴至客户端桌面【Release模块B提交结果.docx】中对应的任务序号下；2、 抽取ds_db01库中order_detail的增量数据进入Hive的ods库中表order_detail。根据ods.order_detail表中modified_time作为增量字段，只将新增的数据抽入，字段名称、类型不变，同时添加静态分区，分区字段为etl_date，类型为String，且值为当前比赛日的前一天日期（分区字段格式为yyyyMMdd）。使用hive cli执行show partitions ods.order_detail命令，将执行结果截图粘贴至客户端桌面【Release模块B提交结果.docx】中对应的任务序号下；3、 抽取ds_db01库中coupon_info的增量数据进入Hive的ods库中表coupon_info，根据ods.coupon_info表中modified_time作为增量字段，只将新增的数据抽入，字段名称、类型不变，同时添加静态分区，分区字段为etl_date，类型为String，且值为当前比赛日的前一天日期（分区字段格式为yyyyMMdd）。使用hive cli执行show partitions ods.coupon_info命令，将执行结果截图粘贴至客户端桌面【Release模块B提交结果.docx】中对应的任务序号下；4、 抽取ds_db01库中coupon_use的增量数据进入Hive的ods库中表coupon_use，增量字段取ods.coupon_use表中get_time、used_time、pay_time中的最大者，只将新增的数据抽入，字段名称、类型不变，同时添加静态分区，分区字段为etl_date，类型为String，且值为当前比赛日的前一天日期（分区字段格式为yyyyMMdd）。使用Hive Cli查询最新分区数据总条数，将执行结果截图粘贴至客户端桌面【Release模块B提交结果.docx】中对应的任务序号下；5、 抽取ds_db01库中product_browse的增量数据进入Hive的ods库中表product_browse，根据ods.product_browse表中modified_time作为增量字段，只将新增的数据抽入，字段名称、类型不变，同时添加静态分区，分区字段为etl_date，类型为String，且值为当前比赛日的前一天日期（分区字段格式为yyyyMMdd）。使用hive cli执行show partitions ods.product_browse命令，将执行结果截图粘贴至客户端桌面【Release模块B提交结果.docx】中对应的任务序号下。6、 抽取ds_db01库中product_info的增量数据进入Hive的ods库中表product_info，根据ods.product