Hadoop 2.6.0分布式部署参考手册1.环境说明21.1安装环境说明22.2 Hadoop集群环境说明：22.基础环境安装及配置22.1 添加hadoop用户22.2 JDK 1.7安装22.3 SSH无密码登陆配置32.4 修改hosts映射文件33.Hadoop安装及配置43.1 通用部分安装及配置43.2 各节点配置44.格式化/启动集群44.1 格式化集群HDFS文件系统44.2启动Hadoop集群5附录1 关键配置内容参考51core-site.xml52hdfs-site.xml53mapred-site.xml64yarn-site.xml65hadoop-env.sh66slaves7附录2 详细配置内容参考71core-site.xml72hdfs-site.xml73mapred-site.xml84yarn-site.xml105hadoop-env.sh126slaves13附录3 详细配置参数参考13 conf/core-site.xml13 conf/hdfs-site.xml13o Configurations for NameNode:13o Configurations for DataNode:14 conf/yarn-site.xml14o Configurations for ResourceManager and NodeManager:14o Configurations for ResourceManager:14o Configurations for NodeManager:15o Configurations for History Server (Needs to be moved elsewhere):16 conf/mapred-site.xml17o Configurations for MapReduce Applications:17o Configurations for MapReduce JobHistory Server:171.环境说明1.1安装环境说明本列中，操作系统为Centos 7.0，JDK版本为Oracle HotSpot 1.7，Hadoop版本为Apache Hadoop 2.6.0，操作用户为hadoop。2.2 Hadoop集群环境说明：集群各节点信息参考如下：主机名IP地址角色ResourceManager172.15.0.2ResourceManager & MR JobHistory ServerNameNode172.15.0.3NameNodeSecondaryNameNode172.15.0.4SecondaryNameNodeDataNode01172.15.0.5DataNode & NodeManagerDataNode02172.15.0.6DataNode & NodeManagerDataNode03172.15.0.7DataNode & NodeManagerDataNode04172.15.0.8DataNode & NodeManagerDataNode05172.15.0.9DataNode & NodeManager注：上述表中用”&”连接多个角色，如主机”ResourceManager”有两个角色，分别为ResourceManager和MR JobHistory Server。2.基础环境安装及配置2.1 添加hadoop用户useradd hadoop用户“hadoop”即为Hadoop集群的安装和使用用户。2.2 JDK 1.7安装 Centos 7自带的JDK版本为 OpenJDK 1.7，本例中需要将其更换为Oracle HotSpot 1.7版，本例中采用解压二进制包方式安装，安装目录为/opt/。1 查看当前JDK rpm包 rpm -qa | grep jdkjava-1.7.0-openjdk-1.7.0.51-2.4.5.5.el7.x86_64java-1.7.0-openjdk-headless-1.7.0.51-2.4.5.5.el7.x86_642 删除自带JDK rpm -e -nodepsjava-1.7.0-openjdk-1.7.0.51-2.4.5.5.el7.x86_64 rpm -e -nodepsjava-1.7.0-openjdk-headless-1.7.0.51-2.4.5.5.el7.x86_643 安装指定JDK 进入安装包所在目录并解压4 配置环境变量编辑/.bashrc或者/etc/profile，添加如下内容：#JAVAexport JAVA_HOME=/opt/jdk1.7export PATH=$PATH:$JAVA_HOME/binexport CLASSPATH=$JAVA_HOME/libexport CLASSPATH=$CLASSPATH:$JAVA_HOME/jre/lib2.3 SSH无密码登陆配置1 需要设置如上表格所示8台主机间的SSH无密码登陆。2 进入hadoop用户的根目录下并通过命令ssh-keygen -t rsa生成秘钥对3 创建公钥认证文件authorized_keys并将生成的/.ssh目录下的id_rsa.pub文件的内容输出至该文件：more id_rsa.pub auhorized_keys4 分别改变/.ssh目录和authorized_keys文件的权限： chmod700 /.ssh;chmod600 /.ssh/authorized_keys5 每个节点主机都重复以上步骤，并将各自的/.ssh/id_rsa.pub文件的公钥拷贝至其他主机。 对于以上操作，也可以通过一句命令搞定：rm -rf /.ssh;ssh-keygen -t rsa;chmod 700 /.ssh;more /.ssh/id_rsa.pub /.ssh/authorized_keys;chmod 600 /.ssh/authorized_keys;注：在centos 6中可以用dsa方式：ssh-keygen -t dsa命令来设置无密码登陆，在centos 7中只能用rsa方式，否则只能ssh无密码登陆本机，无能登陆它机。2.4 修改hosts映射文件分别编辑各节点上的/etc/hosts文件，添加如下内容：172.15.0.2 ResourceManager172.15.0.3 NameNode172.15.0.4 SecondaryNameNode172.15.0.5 DataNode01172.15.0.6 DataNode02172.15.0.7 DataNode03172.15.0.8 DataNode04172.15.0.9 DataNode05172.15.0.5 NodeManager01172.15.0.6 NodeManager02172.15.0.7 NodeManager03172.15.0.8 NodeManager04172.15.0.9 NodeManager053.Hadoop安装及配置3.1 通用部分安装及配置以下操作内容为通用操作部分，及在每个节点上的内容一样。分别在每个节点上重复如下操作：1 将hadoop安装包（hadoop-2.6.0.tar）拷贝至/opt目录下，并解压： tar -xvf hadoop-2.6.0.tar解压后的hadoop-2.6.0目录(/opt/hadoop-2.6.0)即为hadoop的安装根目录。2 更改hadoop安装目录hadoop-2.6.0的所有者为hadoop用户：chown -R hadoop.hadoop /opt/hadoop-2.6.03 添加环境变量：#hadoopexport HADOOP_HOME=/opt/hadoop-2.6.0export PATH=$PATH:$HADOOP_HOME/binexport PATH=$PATH:$HADOOP_HOME/sbin3.2 各节点配置分别将如下配置文件解压并分发至每个节点的Hadoop“$HADOOP_HOME/etc/hadoop”目录中，如提示是否覆盖文件，确认即可。注：关于各节点的配置参数设置，请参考后面的“附录1”或“附录2”4.格式化/启动集群4.1 格式化集群HDFS文件系统安装完毕后，需登陆NameNode节点或任一DataNode节点执行hdfs namenode -format格式化集群HDFS文件系统；注：如果非第一次格式化HDFS文件系统，则需要在进行格式化操作前分别将NameNode的dfs.namenode.name.dir和各个DataNode节点的dfs.datanode.data.dir目录(在本例中为/home/hadoop/hadoopdata)下的所有内容清空。 4.2启动Hadoop集群分别登陆如下主机并执行相应命令：1 登陆ResourceManger执行start-yarn.sh命令启动集群资源管理系统yarn2 登陆NameNode执行start-dfs.sh命令启动集群HDFS文件系统3 分别登陆SecondaryNameNode、DataNode01、DataNode02、DataNode03、DataNode04节点执行jps命令，查看每个节点是否有如下Java进程运行：ResourceManger节点运行的进程：ResouceNamagerNameNode节点运行的进程：NameNodeSecondaryNameNode节点运行的进程：SecondaryNameNode各个DataNode节点运行的进程：DataNode & NodeManager如果以上操作正常则说明Hadoop集群已经正常启动。附录1 关键配置内容参考1core-site.xml fs.defaultFS hdfs:/NameNode:9000 NameNode URI l 属性”fs.defaultFS“表示NameNode节点地址，由”hdfs:/主机名(或ip)：端口号”组成。2hdfs-site.xml dfs.namenode.name.dir file:/home/hadoop/hadoopdata/hdfs/namenode