Ambari2.1安装hdp2.3 2015-08-31 16:59 573人阅读 评论(0) 收藏 举报 分类： 大数据存储（2） 版权声明：本文为博主原创文章，未经博主允许不得转载。目录(?)+1 集群配置1.1 集群组成本次部署总共有2个节点，如下所示：主机ip 主机名 操作系统 内存 作用 192.168.230.132 h132.hdp.ap Centos7 4g 部署ambari192.168.230.133 h133.hdp.ap Centos7 3g hdp部署节点1按照上述表中的主机名在对应的机器上修改它们的hostname，方法如下所示： 在/etc/sysconfig/network中修改hostname项，修改完后重启生效，/etc/sysconfig/network内容如下所示：# Created by anacondaNETWORKING=yesNETWORKING_IPV6=noHOSTNAME=h132.hdp.apNTPSERVERARGS=iburst 1 2 3 4 5 1 2 3 4 5修改了hostname后，如何使其立即生效而不用重启操作系统。方法1：修改了/etc/sysconfig/network下的HOSTNAME后，然后使用echo servername /proc/sys/kernel/hostname。 rootDB-Server # echo Test /proc/sys/kernel/hostname 注意当前会话还是不会变化，但是后续新建会话则会生效。方法2：修改了/etc/sysconfig/network下的HOSTNAME后，然后使用sysctl kernel.hostname命令使其立即生效 rootDB-Server # sysctl kernel.hostname=Test2 kernel.hostname = Test2注意当前会话还是不会变化，但是后续新建会话会生效。方法3：修改了/etc/sysconfig/network下的HOSTNAME后，然后使用hostname命令使其生效 rootTest # hostname DB-Server 注意当前会话还是不会变化，但是后续新建会话会生效。其实呢，这几种方式只是结合永久性修改和临时性修改hostname，使其不必重启Linux服务器然后修改机器的/etc/hosts文件，将每个机器的hostname和ip对应起来，将修改后的/etc/hosts文件复制到集群中的每台机器，操作如下所示：127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4:1 localhost localhost.localdomain localhost6 localhost6.localdomain6192.168.230.132 h132.hdp.ap h132192.168.230.133 h133.hdp.ap h133 1 2 3 4 1 2 3 41.2 配置ssh无密码登录因为在ambari和hdp部署过程中，ambari和hdp部署的节点都有可能互相访问，所以建议四个节点中的每个节点之间都可以ssh无密码登录，包括它们自己登录到自己。在每一台机器上执行如下操作，首先查看该用户根目录下的.ssh文件夹中是否有id_rsa文件(如果没有.ssh文件夹，可以自己创建一个)，如 果没有执行ssh-keygen命令，一路回车，然后查看生成的文件，为了避免之后的麻烦，建议将该目录下所有文件的权限修改成600，本文档部署在 h133机器上的操作如下所示，其他机器类似：rooth132 # cd .sshrooth132 .ssh#ssh-keygenrooth132 .ssh#chmod 600 * 1 2 3 1 2 3为了实现A节点无密码登录到B节点，需要将A节点的.ssh/id_rsa.pub文件内容添加到B节点的.ssh/authorized_keys文件中，下面给出了h133节点无密码登录到h132节点的方法，用类似的方法实现他们之间任意两个节点的无密码登录。首先将h133节点的.ssh/id_rsa.pub文件拷贝到h132节点上，注意不要放到.ssh文件夹中，这样会覆盖h132节点上的.ssh/id_rsa.pub文件，操作如下所示：rooth132 .ssh#scp id_rsa.pub h133:/ 1 1首先将拷贝到h132节点上的id_rsa.pub文件内容添加到.ssh/authorized_keys文件中，操作如下所示：rooth133 # cat id_rsa.pub .ssh/authorized_keys 1 1至此完成了h133节点无密码登录h132节点，测试如下：rooth133 # ssh h132Last login: Sun Aug 30 22:53:54 2015 from 192.168.230.1 1 2 1 2接下来用类似的方法实现他们之间任意两个节点的无密码登录。1.1 配置ntp服务因为hdp中有服务需要集群的时间同步，所以集群中的每一个机器需要安装启动ntp服务保证集群时间的一致，安装启动如下所示：yum install ntpservice ntpd start systemctl enable ntpd 1 2 3 1 2 3在集群中的每台机器完成上述操作。1.4 关闭防火墙服务因为集群中的线程之间需要互相通信，所以需要合理配置防火墙，最简单的方式是直接关闭防火墙。操作如下所示：chkconfig iptables off/etc/init.d/iptables stopsystemctl disable firewalldservice firewalld stop 1 2 3 4 5 6 7 1 2 3 4 5 6 71.5 配置selinux和umask为了避免引起不必要的麻烦，关闭集群节点上的selinux服务，然后重启(或者不重启执行命令：执行命令：setenforce 0)，文件/etc/selinux/config修改以下选项如下所示：SELINUX=disabled 1 1如果机器安装了PackageKit，在/etc/yum/pluginconf.d/refresh-packagekit.conf中将其关闭，操作如下：enabled=0 1 1确保集群中节点的umask值为022，操作如下：rooth132 # umask0022 1 2 1 2如果不是022，vi /etc/profile then, 添加一行: umask 0222 准备部署软件2.1 Jdk下载安装部署如果机器没有java环境，在安装ambari和hdp过程中，yum会自动从网上下载jdk-7u79-linux-x64.tar.gz，如果 网速很快的话，可以在线获取。本文档部署手动下载java包，用的是/jdk-7u79-linux-x64.tar.gz，下载地址为http:/download.oracle.com/otn-pub/java/jdk/7u79-b15/jdk-7u79-linux-x64.tar.gz?AuthParam=1440993061_1fb798d8c678d517c310d9485d348225，下载完后，必须放在集群每个节点的相同目录，然后解压，操作过程如下图所示：rooth132 local# lsbin games jdk1.7.0_79 lib libexec shareetc include jdk-7u79-linux-x64.tar.gz lib64 sbin srcrooth132 local# tar zxvf jdk-7u79-linux-x64.tar.gz 1 2 3 4 1 2 3 42.2 Ambari和HDP下载配置本文档部署所用的软件为： 1. ambari-2.1.0-centos7.tar.gz 2. HDP-2.3.0.0-centos7-rpm.tar.gz 3. HDP-UTILS-1.1.0.20-centos7.tar.gz 手动下载所需的上述软件；将下载的软件放到部署ambari的机器的/var/www/html目录下（该机器必须先安装httpd服务，并且启动httpd服务），然后解压，操作如下所示：rooth132 # yum install httpdrooth132 # service httpd start 1 2 3 1 2 3在改机器上添加/etc/yum.repo.d/ambari.repo文件，它的内容如下所示，其中的192.168.1.132的ip地址要换成部署ambari那台机器的ip：ambari-2.xname=ambari 2.xbaseurl=http:/192.168.230.132/ambari/centos7/2.x/updates/2.1.0gpgcheck=1gpgkey=http:/192.168.230.132/ambari/centos7/2.x/updates/2.1.0/RPM-GPG-KEY/RPM-GPG-KEY-Jenkinsenabled=1priority=1Updates-ambari-2.1.0name=ambari-2.1.0 - Updatesbaseurl=http:/192.168.230.132/ambari/centos7/2.x/updates/2.1.0gpgcheck=1gpgkey=http:/192.168.230.132/ambari/centos7/2.x/updates/2.1.0/RPM-GPG-KEY/RPM-GPG-KEY-Jenkinsenabled=1priority=1 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21在改机器上添加/etc/yum.repo.d/hdp.repo文件，它的内容