大数据处理平台设计方案方案
1 ■ 2. 6. 1大数据基础平台
(1)架构设计
SDC Hadoop大数据基础平台集工作台、工作流开发环境、 任务调度、数据管理、数据检索、集群运维管理系统和应用 门户为一体,为用户提供基于大数据的基础解决方案,全面 满足不同行业、不同人群对大数据的个性化要求。其架构设 计如下图:
•运维管理(SDC Console): SDC Console是大数据运维 管理系统,为SDC Hadoop供高可靠、安全、容错、 易用的集群管理能力,支持大规模集群的安装部署、 监控、告警、用户管理、权限管理、审计、服务管理 等。
• SDC Hadoop集成开发工具:提供了 web图形化方式操 作,包括流程控制、作业调度、数据管理、数据搜索、 元数据管理、文件管理等功能。
• HDFS: Hadoop 分布式文件系统(Hadoop Distributed
File System),提供高吞吐量的数据访问,适合大 规模数据集方面的应用。
• Zookeeper:提供分布式、高可用性的协调服务能力。
帮助系统避免单点故障,从而建立可靠的应用程序。
• HBase:提供海量数据存储功能,是一种构建在HDFS
之上的分布式、面向列的存储系统。
• Elasticsearch:提供了一个分布式多用户能力的全文
搜索引擎。
• Parquet:面向分析型业务的列式存储格式。
• YARN资源管理系统,它是一个通用的资源模块,可以
为各类应用程序进行资源管理和调度。
• Tachyon:分布式内存文件系统,可以在集群里以访问
内存的速度来访问存在tachyon里的文件。
• Redis:提供基于内存的高性能分布式K-V缓存系统。
• MapReduce:提供快速并行处理大量数据的能力,是一
种分布式数据处理模式和执行环境。
• Spark:基于内存进行计算的分布式计算框架。
• Strom:提供分布式、高容错的实时计算系统。
• Hive:建立在Hadoop基础上的开源的数据仓库,提供 类似SQL的Hive Query Language语言操作结构化数 据存储服务和基本的数据分析服务。
• Impala:提供SQL语义,能查询存储在Hadoop的HDFS
和HBase中的PB级大数据。
• Spark Streaming:建立在Spark上的实时计算框架,
通过它提供的丰富的API、基于内存的高速执行引擎, 用户可以结合流式、批处理和交互试查询应用。
• Kylin:支持在超大数据集上进行秒级别的SQL及OLAP
查询。
(2)功能模块
大数据运维管理
大数据运维管理为大数据存储供高可靠、安全、容错、 易用的集群管理能力,支持大规模集群的安装部署、统一监 控告警、统一用户权限管理、日志查询、服务管理等。
•服务管理
提供服务管理,支持对各项资源及服务进行创建、删除、 启停、重启、配置、升级、部署、维护等操作:
主页
耘所有运行状况问题CB 配置回,所有最新命令
• Cluster 1 (cdh
• m主机
® a Accumuto 1.6
• H HBase
• 0 HDFS
•童 Hive
• Hue
• ¥ Impala
® JS Kafka
• Key-Value Store
• 0Oozie
• 3 Solr
• <1 Spark
• Spark (Standalo
• 御 Sqoop 1 Client
• ® Sqoop 2
• 巢 YARN (MR2 IncL.
•』ZooKeeper
-7.0.数据包)
添加服务
启动
停止
重启
滚动重启
部署客户端配置
部署Kerberos客颅@理
升级群集
刷新群集
刷新动态资源池
Inspect Hosts in Cluster 启用 Kerberos
设置HDFS静态数据加密
查看客户端配置URL
重命名群集
配置CDH版本
进入维护模式
图表
礁CPU
-Clustery整个主机中的主机CPU使用率254%
唳成的Impala队列
30分钟1小
群集触IO
■各磁盘中的…415K/S ■各磁盘中的
■各 DataNode. 3.3b/s ■各 DataNode
•统一监控告警
提供集群监控功能,集成大数据服务、
可视化服务、数
据挖掘服务等,并对服务器CPU、服务资源、服务状态(警 告、错误、隐患)进行实时监控,并以图表形式呈现。支持 异常邮件报警,便于用户及时发现问题并处理:
主页
提供日志分析友好的Web界面,
可以帮助用户汇总、分
析和搜索重要数据日志
旧志
"30分钟在201牌7月28日.下午4点36 CST之前》网&《
>选择源王根:-=r
WftHSBSJ INFO
30分钟1小时2』对6]的12-j*t 1夭7d 3M
I 改嗦的机器3.错误2.晾t间3680 ms更多斐计,怠
主机
>»(1001)1啊0313.(:001
画别时俱 £
Number of transactions: 416 Total tiae for transactions(as): 35 Nusber of transactions batchec
INFO
25牌7月28日下午4点06 FSEditLog
SS日主文件£
hadooDi.wvdata.corn
INFO
2016^7月 28日下午4点06 StateCbange
DIR" coopleteFile: /user/spark/applicationHistory/.a95121M-564a-45df-ac83-6ff9e249837b is de 杳着日主文件C
hadooDl.v>vdata_coni
INFO
2。1牌7月 28 日下午4点06 statechange
MR" ccapleteFile: /user/spark/^>plicationHistory/.763bfbda-f891-4c99-be5c-e9c520e88753 is de
S5日叔件e
hadooD2.wvdata—com
INFO
201晦7月28日下午4点06 SotrDiSpatchFilter
Could not consuae full client request
java.io.IOException: Strean closed
at org.apache.catalina.connector.InputBuffer.readByte(InputB
yester
点击显示更多内容>>
网站客服QQ:2055934822
金锄头文库版权所有
经营许可证:蜀ICP备13022795号 | 川公网安备 51140202000112号