Hadoop2.7.3完全分布式集群搭建

编辑：光环大数据来源: 互联网时间: 2017-11-09 13:22 阅读: 次大中小

集群如下：

192.168.188.111 master

192.168.188.112 slave1

192.168.188.113 slave2

一、环境配置

1.修改hosts和hostname

以master为例：

修改hosts

[[email protected] ~]# vim /etc/hosts

192.168.188.111 master

192.168.188.112 slave1

192.168.188.113 slave2

修改hostname

[[email protected] ~]# vim /etc/hostname

同样地，在slave1和slave2做相同的hostname操作，分别命名为slave1和slave2.然后分别把slave1和slave2的hosts文件更改为和master一样。

2.配免密登录

次文章重点不在配免密登录，所有略，可以看其他博客。

3.配置环境变量

[[email protected] ~]# vim /etc/profile

#javaexport JAVA_HOME=/root/package/jdk1.8.0_121export PATH=$PATH:$JAVA_HOME/bin#sparkexport SPARK_HOME=/root/package/spark-2.1.0-bin-hadoop2.7export PATH=$PATH:$SPARK_HOME/bin#ANACONDAexport ANACONDA=/root/anaconda2export PATH=$PATH:$ANACONDA/bin#HADOOPexport HADOOP_HOME=/root/package/hadoop-2.7.3export HADOOP_MAPRED_HOME=$HADOOP_HOMEexport HADOOP_COMMON_HOME=$HADOOP_HOMEexport HADOOP_HDFS_HOME=$HADOOP_HOMEexport YARN_HOME=$HADOOP_HOMEexport HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/nativeexport PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/binexport HADOOP_INSTALL=$HADOOP_HOME

输入 source /etc/profile 使配置文件生效。

[[email protected] ~]# source /etc/profile

查看配置是否成功：

输入 java -version

Hadoop 出现以上信息则Java配置成功。

二、hadoop配置

1.master配置

首先，安装hadoop-2.7.3，我是直接在要安装的目录下解压，所有在tar -zxvf 后边没有输入其他的路径。

[[email protected] package]# tar -zxvf hadoop-2.7.3

2.hadoop-env.sh配置

hadoop-2.7.3 的配置文件都在 /root/package/hadoop-2.7.3/etc/hadoop 下

/root/package/hadoop-2.7.3/etc/hadoop

[[email protected] hadoop]# vim hadoop-env.sh

修改JAVA_HOME值

# The java implementation to use.export JAVA_HOME=/root/package/jdk1.8.0_121

3.yarn-env.sh配置

[[email protected] hadoop]# vim yarn-env.sh

# some Java parametersexport JAVA_HOME=/root/package/jdk1.8.0_121

4.修改slaves

[[email protected] hadoop]# vim slaves

将内容修改为

slave1slave2

5.core-site.xml配置

<configuration>        <!-- 指定hdfs的nameservice为ns1 -->        <property>                <name>fs.defaultFS</name>                <value>hdfs://10.10.11.181:9000</value>        </property>        <!-- Size of read/write buffer used in SequenceFiles. -->        <property>         <name>io.file.buffer.size</name>         <value>131072</value>       </property>        <!-- 指定hadoop临时目录,自行创建 -->        <property>                <name>hadoop.tmp.dir</name>                <value>/hadoop/tmp</value>        </property></configuration>

6.hdfs-site.xml配置

<configuration><property>      <name>dfs.namenode.secondary.http-address</name>      <value>10.10.11.181:50090</value>    </property>  <property>      <name>dfs.replication</name>      <value>3</value>   </property>   <property>      <name>dfs.namenode.name.dir</name>      <value>file:/root/hadoop/hdfs/namenode/dfs/name</value>   </property>   <property>      <name>dfs.datanode.data.dir</name>      <value>file:/root/hadoop/hdfs/datanode/dfs/data</value>   </property>        <property>              <name>dfs.webhdfs.enabled</name>              <value>true</value>         </property></configuration>

7.配置mapred-site.xml

先复制再修改

[[email protected] hadoop]# cp mapred-site.xml.template mapred-site.xml

<configuration>        <property>　　　　　　　　<name>mapreduce.framework.name</name>                <value>yarn</value>           </property>          <property>                  <name>mapreduce.jobhistory.address</name>                  <value>192.168.188.111:10020</value>          </property>          <property>                <name>mapreduce.jobhistory.webapp.address</name>                <value>192.168.188.111:19888</value>       </property></configuration>

8.yarn-site.xml配置

<configuration>          <property>                 <name>yarn.nodemanager.aux-services</name>                 <value>mapreduce_shuffle</value>          </property>          <property>                                                                  <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>                 <value>org.apache.hadoop.mapred.ShuffleHandler</value>          </property>          <property>                 <name>yarn.resourcemanager.address</name>                 <value>master:8032</value>         </property>         <property>                 <name>yarn.resourcemanager.scheduler.address</name>                 <value>master:8030</value>         </property>         <property>              <name>yarn.resourcemanager.resource-tracker.address</name>               <value>master:8031</value>        </property>        <property>                <name>yarn.resourcemanager.admin.address</name>                 <value>master:8033</value>         </property>         <property>                 <name>yarn.resourcemanager.webapp.address</name>                 <value>master:8088</value>         </property>  </configuration>

9.然后把在master的配置拷贝到slave1和slave2节点上

scp -r hadoop-2.7.3 [email protected]168.188.112:/root/package

三、启动hadoop

1.格式化命令。因为已经配置了hadoop的环境变量，所以不一定非要在hadoop的安装目录输入格式化命令。

[[email protected] sbin]# hdfs namenode -format

2.启动

[[email protected] sbin]# start-all.sh

四、用jps查看结果

启动后分别在master和slave1和slave2下查看进程。

master如下：

slave1如下：

slave2如下：

则表示成功。

五、界面查看验证

输入http://192.168.188.111:8088/

输入http://192.168.188.111:50070/

到此，hadoop-2.7.3完全分布式集群搭建成功。

　　大数据时代，Hadoop培训、大数据培训、培训班，就选光环大数据！

大数据培训、人工智能培训、Python培训、大数据培训机构、大数据培训班、数据分析培训、大数据可视化培训，就选光环大数据！光环大数据，聘请专业的大数据领域知名讲师，确保教学的整体质量与教学水准。讲师团及时掌握时代潮流技术，将前沿技能融入教学中，确保学生所学知识顺应时代所需。通过深入浅出、通俗易懂的教学方式，指导学生更快的掌握技能知识，成就上万个高薪就业学子。更多问题咨询，欢迎点击------>>>>在线客服！

当前位置