Hadoop完全分布式环境搭建

　　一. 准备工作

　　实验环境：Vmware虚拟出的3台主机，系统为CentOS_6.4_i386

　　用到的软件：hadoop-1.2.1-1.i386.rpm，jdk-7u9-linux-i586.rpm

　　主机规划：

　　IP地址                      主机名                    角色

　　192.168.2.22          master.flyence.tk        NameNode,JobTracker

　　192.168.2.42          datanode.flyence.tk      DataNode,TaskTracker

　　192.168.2.32          snn.flyence.tk          SecondaryNameNode

　　1. hostname命令修改主机名，并修改/etc/sysconfig/network中的主机

　　这里以master节点为例

　　[root@localhost ~]# hostname master.flyence.tk

　　[root@localhost ~]# vim /etc/sysconfig/network

　　[root@localhost ~]# logout

　　-

　　下面为/etc/sysconfig/network中的内容

　　NETWORKING=yes

　　HOSTNAME=master.flyence.tk

　　2. 在/etc/hosts中，记录3台主机的IP和主机名

　　3. 在3台主机上添加hadoop用户，并设定密码

　　# useradd hadoop

　　# echo "hadoop" | passwd --stdin hadoop

　　4. master节点的hadoop用户能够以基于密钥的验证方式登录其他节点，以便启动进程并执行监控等额外的管理工作。

　　[root@master ~]# su - hadoop

　　[hadoop@master ~]$ ssh-keygen -t rsa -P ''

　　[hadoop@master ~]$ ssh-copy-id -i .ssh/id_rsa.pub hadoop@datanode.flyence.tk

　　[hadoop@master ~]$ ssh-copy-id -i .ssh/id_rsa.pub hadoop@snn.flyence.tk

　　二. 安装JDK

　　3台主机上都要安装，以下步骤要重复三遍

　　[root@master ~]# rpm -ivh jdk-7u9-linux-i586.rpm

　　编辑/etc/profile.d/java.sh，在文件中添加如下内容：

　　export PATH=/usr/java/latest/bin:$PATH

　　切换至hadoop用户，并执行如下命令测试jdk环境配置是否就绪

　　[hadoop@master ~]$ java -version

　　java version "1.7.0_09"

　　Java(TM) SE Runtime Environment (build 1.7.0_09-b05)

　　Java HotSpot(TM) Client VM (build 23.5-b02, mixed mode, sharing)

　　三. 安装Hadoop

　　集群中的每个节点都要安装Hadoop。

　　[root@master ~]# rpm -ivh hadoop-1.2.1-1.i386.rpm

　　切换至hadoop用户，验证Hadoop是否安装完成

　　[hadoop@master ~]$ hadoop version

　　Hadoop 1.2.1

　　Subversion https://svn.apache.org/repos/asf/hadoop/common/branches/branch-1.2 -r 1503152

　　Compiled by mattf on Mon Jul 22 15:17:22 PDT 2013

　　From source with checksum 6923c86528809c4e7e6f493b6b413a9a

　　This command was run using /usr/share/hadoop/hadoop-core-1.2.1.jar