分布式计算环境实验报告实验名称：在虚拟机下安装 Linux 系统和Hadoop专业班级：网络 1101学生学号：3110610007学生姓名：平淑容目录实验目的.P实验仪器.P实验内容和步骤.P安装过程的问题以及解决方法.P代码运行以及实验结果.P运行过程中的问题.P实验总结.P一、实验目的在虚拟机上安装 CentOS 系统并在 Linux 系统上安装 Hadoop 单机模式并且执行一个 Java 程序。二、实验仪器硬件：虚拟机 CentOS软件： Windows 7 操作系统三、实验内容及步骤实验内容一、 安装虚拟机二、 安装 Linux 操作系统 三、 设置静态 ip四、 修改主机名四、绑定 ip 和主机五、关闭防护墙六、关闭防火墙的自动运行 七、设置 ssh八、安装 JDK九、安装 Hadoop 十、在单机上运行 Hadoop十一、Hadoop 执行 Java 程序实验步骤：一、 安装虚拟机此处安装的虚拟机是 VMware Workstation 版本，直接从压缩包里面解压安装即可，此处不做过多介绍。二、 安装 Linux 系统此处安装的 Linux 系统使用的是 CentOS 版本，直接从压缩包里面解压，然后使用 VMware Workstation 打开，打开之后选择开机输入用户名和密码进入 linux 系统。三、 Hadoop 的伪分布安装步骤1. 设置静态 IP在 centOS 桌面的右上角选择图标 ，右击修改 ip 值，选择静态 ip，输入需要增加的 ip 值、默认网关。然后重启网卡，执行命令 service network restart 验证：执行命令 ifconfig,查看 ip 是否生效，如果出现如图所示则成功。2.修改主机名修改当前会话中的主机名，执行命令 hostname hadoop，然后用命令 hostname 来查看主机名 修改配置文件中的主机名，执行命令 vi /etc/sysconfig/network，将 HOSTNAME 之后的原来的主机名改成 hadoop，然后保存退出。 验证：重启，执行命令 reboot -h now3.绑定 ip 和主机执行命令 vi /etc/hosts，增加一行内容：192.168.80.100 hadoop，最后保存退出。验证：ping hadoop 测试一下，如能够收到数据包则绑定成功。3.关闭防火墙执行命令 service iptables stop验证：执行命令 service iptables status4.关闭防火墙的自动运行执行命令 chkconfig iptables off验证：执行命令 chkconfig -list | grep iptables5 设置 SSH 执行命令 ssh-keygen -t rsa 产生密钥，位于/ .ssh 文件夹中 执行命令 cp id_rsa.pub authorized_keys，将公钥存放到authorized_keys 文件夹中 验证：执行命令 ssh localhost，输入 yes 即可。6.安装 jdk执行命令 rm -rf /usr/local/*删除所有的内容使用 winspc 把文件从 windows 下面复制到/usr/local 目录下行命令 chmod u+x jdk-6u24-linux-i586.bin 赋予执行权限执行命令./jdk-6u24-linux-i586.bin 解压缩执行命令 mv jdk1.6.0_24 jdk ，将文件重命名。执行命令 vi /etc/profile 设置环境变量，增加了两行内容export JAVA_HOME=/usr/local/jdkexport PATH=.:$JAVA_HOME/bin:$PATH保持退出执行命令 source /etc/profile，让设置立即生效。验证：执行命令 java -version8.安装 Hadoop执行命令 tar zxvf hadoop-1.1.2.tar.gz 进行解压缩执行命令 mv Hadoop-1.1.2 hadoop 重命名执行命令 vi /etc/profile 设置环境变量，增加一行内容export HADOOP_HOME=/usr/local/hadoop修改 1 行内容export PATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH保存退出执行命令 source /etc/profile，让设置立即生效。修改 hadoop 的配置文件，位于$HADOOP_HOME/conf 目录下修改 4 个配置文件，分别是 hadoop-env、core-site.xml、hdfs-site.xml、mapred-site.xml hadoop-env 修改内容如下：将文件的第九行的命令改成 export JAVA_HOME=/usr/local/jdk core-site.xml 修改内容如下：fs.default.namehdfs:/hadoop:9000 hadoop.tmp.dir /usr/local/hadoop/tmp hdfs-site.xml 的修改内容如下：dfs.replication1dfs.permissionsfalse mapred-site.xml 的修改内容如下：mapred.job.trackerhadoop:9001执行命令 hadoop namenode-format 对 hadoop 格式化执行命令 start-all.sh 启动验证：（1）执行命令 jps，发现六个进程，分别是NameNode、DataNode、 SecondaryNameNode、TaskTracker 、JobTracker、Jps（2）通过浏览器 http:/hadoop:50070 和 http:/hadoop:50030四、实验安装过程遇到的问题以及解决方法（1）用 vi 命令进行编辑操作的时候，对 vi 命令的使用不是很清楚，没有保存所做的修改。解决方法：用 vi 命令编辑时，首先打开的是只读命令，然后按 A 键进入编辑命令，编辑完之后先按 Esc 键，再同时按住 shift+:键，这时候在左下角就会出现一个冒号，输入 wq 即代表保存退出。（2）一开始在终端上 ping hadoop 一直无法 ping 通，但是 ping 192.168.80.100 是能够 ping 通的解决方法：将主机名和 ip 绑定，在/etc/hosts 文件中增加一行，192.168.80.100 hadoop。（3）在进行./jdk-6u24-linux-i586.bin 解压缩的时候出现如下问题：解决方法：是应为缺少了执行权限，执行命令 chmod u+x jdk-6u24-linux-i586.bin 赋予执行权限（4）NameNode 进程没有启动成功解决方法：没有对 hadoop 格式化，配置文件没有修改正确，SSH 免密码登陆没有配置成功（5）进行了多次格式化解决方法：删除/usr/local/hadoop/tmp 文件夹，重新格式化