cdHadoop单机版、伪分布、集群安装教程推荐链接：http:/dblab.xmu.edu.cn/blog/page/2/?s=Hadoop一、下载安装所需文件1.vmware10中文版2.centos6.43.jdk1.8-Linux-32位4.Hadoop2.7.1（要求jdk版本为1.7及以上）5.spark2.2.1（要求hadoop版本为2.7）二、安装虚拟机1.安装vmware（具体细节可百度vmware安装）。2.新建虚拟机打开解压过的centos/centos.vmx3.克隆虚拟机选中虚拟机/右键/管理/克隆4.查看虚拟机版本查看centos版本命令：rpm -q centos-release查看系统是32位还是64位：getconf LONG_BIT三、hadoop伪分布安装（选centos虚拟机安装）1.root用户名登陆，密码hadoop 之后已将主机名修改为hadoop 密码 hadoopIP 192.168.0.2532.设置IP、主机名、绑定主机名和关闭防火墙（1）设置静态IP桌面右上角连接 右键 编辑连接IPv4 method：从automatic（DCHCP）动态分配IP调整为Manual静态IP设置与主机在同一个网段 可以用ipconfig和ping IP实现本机IP192.168.0.221vmware vmnet1 192.168.0.251vmnet8192.168.0.252service network restart /重启网卡（2）修改主机名hostname/查看当前主机名hostname hadoop/对于当前界面修改主机名vi /etc/sysconfig/network 进入配置文件下 修改主机名为hadoopreboot -h now /重启虚拟机/执行vi读写操作按a修改 修改完之后Esc输入 :wq 回车 保存退出3.hostname和主机绑定vi /etc/hosts/在前两行代码下添加第三行192.168.0.253 hadoop之后 ping hadoop验证即可4.关闭防火墙service iptables stop/关闭防火墙service iptables status/查看防火墙状态chkconfig iptables off/关闭防火墙自动运行chkconfig -list | grep iptables/验证是否全部关闭5.配置ssh免密码登陆（centos默认安装了SSH client、SSH server）rpm -qa |grep ssh/验证是否安装SSH，若已安装，界面如下接着输入ssh localhost 输入yes会弹出以下窗体内容即每次登陆都需要密码exit/退出ssh localhostcd /.ssh/若不存在该目录，执行一次ssh localhostssh-keygen -t rsa 之后多次回车cat /.ssh/id_rsa.pub /.ssh/authorized_keys/加入授权chmod 600 /.ssh/authorized_keys/修改文件权限注：在 Linux 系统中， 代表的是用户的主文件夹，即 /home/用户名 这个目录，如你的用户名为 hadoop，则 就代表 /home/hadoop/。操作完成之后输入ssh localhost验证 出现Last login6.安装java环境（1）将本机已下载的jdk1.8上传到centos服务器下：方法一：下载Xshell5，点击新建文件传输之后按要求下载Xftp，下载安装之后根据主机IP及用户名和密码登录虚拟机IP 192.168.0.253 用户名root 密码hadoop然后将本机已下载好的jdk文件拖拽到虚拟机（可在虚拟机根目录中输入 / ）到根目录下的opt文件夹方法二：右键点击虚拟机，设置/选项/共享文件夹/总是启用之后新建文件夹share存放在本机中，此文件夹也可在虚拟机根目录中显示将jdk放入共享文件夹之后copy即可（2）解压jdk终端输入命令rpm -ivh jdk-8u151-linux-i586.rpm/解压jdk安装包解压之后默认存放在/usr/java/目录下 输入cd /usr/java再输入ls即可看到解压好的jdk（3）配置环境变量vi /etc/profile/修改文件在最末尾加入以下内容，用于设置环境变量JAVA_HOME=/usr/java/jdk1.8.0_151JRE_HOME=/usr/java/jdk1.8.0_151/jrePATH=$PATH:$JAVA_HOME/binCLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/libexport JAVA_HOME JRE_HOME PATH CLASSPATH之后输入 source /etc/profile/使设置立即生效（4）验证依次输入javajava -versionjavac 查看7.安装hadoop（1）解压hadoop将下载好的hadoop2.7.1copy到虚拟机（/mnt目录下）中tar -zxf /mnt/hadoop2.7.1.tar.gz -C /usr/local/将hadoop安装包解压到/usr/local/会有短暂停顿cd /usr/localls之后可看到hadoop2.7.1重命名文件夹mv ./hadoop2.7.1/./hadoop（已跳转到该目录下执行该指令）也可从computer进入找到文件夹右键重命名chown -R hadoop:hadoop ./hadoop/修改文件权限（2）验证cd /usr/local/hadoop./bin/hadoop version（3）hadoop伪分布配置a)设置hadoop环境变量gedit /.bashrc/用记事本打开文件然后在文件末尾添加如下9行代码export HADOOP_HOME=/usr/local/hadoopexport HADOOP_INSTALL=$HADOOP_HOMEexport HADOOP_MAPRED_HOME=$HADOOP_HOMEexport HADOOP_COMMON_HOME=$HADOOP_HOMEexport HADOOP_HDFS_HOME=$HADOOP_HOMEexport YARN_HOME=$HADOOP_HOMEexport HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/nativeexport PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/binexport JAVA_HOME=/usr/java/jdk1.8.0_151之后点击上方save保存关闭即可然后source /.bashrc/使配置生效 source+文件b)修改两个配置文件首先跳转到配置文件夹下cd /usr/local/hadoop/etc/hadoop然后gedit core-site.xml/记事本打开文件在内添加如下代码hadoop.tmp.dirfile:/usr/local/hadoop/tmpAbase for other temporary diretcories.fs.defaultFShdfs:/localhost:9000点击上方save保存退出即可接着gedit hdfs-site.xml同样在内添加如下代码dfs.replication1dfs.namenode.name.dirfile:/usr/local/hadoop/tmp/dfs/namedfs.datanode.data.dirfile:/usr/local/hadoop/tmp/dfs/data注：也可通过文件路径找到这两个文件，然后右键记事本方式打开编辑点击上方save保存退出c)执行namenode格式化cd /usr/local/hadoop/etc/hadoophdfs namenode -format/格式化执行成功后会有以下两点提示成功格式化退出状态为0（若为1则说明未执行）d)开启namenode和datanode守护进程首先跳转到sbin文件夹下cd /usr/local/hadoop/sbin然后输入start-dfs.sh之后会提示开启第二个namenode节点e)验证输入jps会出现如下进程打开浏览器，访问web界面http:/localhost:50070可查看namenode和datanode节点信息四、安装hadoop集群1.网络配置（1）将已经安装好hadoop的虚拟机（centos）克隆出来两个相同的虚拟机（centos2，centos3）并设置好相关IP及端口（设置完IP需重启）本机vmnet1vmnet8centoscentos2centos3IP192.168.0.221192.168.