当前位置

：首页 > 大数据 > Hadoop > 搭建 Hadoop+HBase+Zookeeper 集群

搭建 Hadoop+HBase+Zookeeper 集群

编辑：光环大数据 来源: 互联网 时间: 2017-11-09 13:37 阅读: 次 大 中 小

一、基础环境准备

1、下载安装包（均使用当前最新的稳定版本，截止至2017年05月24日）

1）jdk-8u131

2）hadoop-2.7.3

3）hbase-1.2.5

4）zookeeper-3.4.10

2、修改hosts文件（使用的三台集群主机默认IP为192.168.0.100、192.168.0.101、192.168.0.102）

# vim /etc/hosts添加以下信息192.168.0.100 master192.168.0.101 slave1192.168.0.102 slave2

3、安装JDK

-- 解压jdk安装包# mkdir /usr/java# tar -zxvf jdk-8u131-linux-x64.tar.gx -C /usr/java-- 拷贝jdk至slave1及slave2中# scp -r /usr/java slave1:/usr# scp -r /usr/java slave2:/usr-- 设置jdk环境变量# vim /etc/environmentJAVA_HOME=/usr/java/jdk1.8.0_131JRE_HOME=/usr/java/jdk1.8.0_131/jre# vim /etc/profileexport JAVA_HOME=/usr/java/jdk1.8.0_131export JRE_HOME=${JAVA_HOME}/jreexport CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jarexport PATH=$PATH:$JAVA_HOME/bin

4、设置免密登陆

slave1

# ssh-keygen -t rsa# cp ~/.ssh/id_rsa.pub ~/.ssh/slave1_id_rsa.pub# scp ~/.ssh/slave1_id_rsa.pub master:~/.ssh/

slave2

# ssh-keygen -t rsa# cp ~/.ssh/id_rsa.pub ~/.ssh/slave2_id_rsa.pub# scp ~/.ssh/slave2_id_rsa.pub master:~/.ssh/

master

# ssh-keygen -t rsa# cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys# cat ~/.ssh/slave1_id_rsa.pub >> ~/.ssh/authorized_keys# cat ~/.ssh/slave2_id_rsa.pub >> ~/.ssh/authorized_kyes-- 拷贝文件至slave1及slave2# scp ~/.ssh/authorized_keys slave1:~/.ssh# scp ~/.ssh/authorized_keys slave2:~/.ssh

5、关闭防火墙及SELINUX

-- 关闭防火墙# systemctl stop firewalld.service# systemctl disable firewalld.service-- 关闭SELINUX# vim /etc/selinux/config-- 注释掉#SELINUX=enforcing#SELINUXTYPE=targeted-- 添加SELINUX=disabled

二、Hadoop环境搭建

1、解压缩安装包及创建基本目录

# tar -zxvf hadoop-2.7.3-x64.tar.gz -C /usr# cd /usr/hadoop-2.7.3# mkdir tmp logs hdf hdf/data hdf/name

2、修改hadoop配置文件

-- 修改 slaves 文件# vim /usr/hadoop-2.7.3/etc/hadoop/slaves-- 删除 localhost，添加slave1slave2-- 修改 core-site.xml 文件# vim /usr/hadoop-2.7.3/etc/hadoop/core-site.xml-- 在 configuration 节点中添加以下内容<property>    <name>fs.default.name</name>    <value>hdfs://master:9000</value></property><property>    <name>hadoop.tmp.dir</name>    <value>file:/usr/hadoop-2.7.3/tmp</value></property>-- 修改 hdfs-site.xml 文件# vim /usr/hadoop-2.7.3/etc/hadoop/hdfs-site.xml-- 在 configuration 节点添加以下内容<property>    <name>dfs.datanode.data.dir</name>    <value>/usr/hadoop-2.7.3/hdf/data</value>    <final>true</final></property><property>    <name>dfs.namenode.name.dir</name>    <value>/usr/hadoop-2.7.3/hdf/name</value>    <final>true</final></property>-- 修改 mapred-site.xml 文件# cp /usr/hadoop-2.7.3/etc/hadoop/mapred-site.xml.template /usr/hadoop-2.7.3/etc/hadoop/mapred-site.xml# vim /usr/hadoop-2.7.3/etc/hadoop/mapred-site.xml-- 在 configuration 节点添加以下内容<property>    <name>mapreduce.framework.name</name>    <value>yarn</value></property><property>    <name>mapreduce.jobhistory.address</name>    <value>master:10020</value></property><property>    <name>mapreduce.jobhistory.webapp.address</name>    <value>master:19888</value></property>-- 修改 yarn-site.xml 文件# vim /usr/hadoop-2.7.3/etc/hadoop/yarn-site.xml-- 在 configuration 节点添加以下内容<property>    <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>    <value>org.apache.mapred.ShuffleHandler</value></property><property>    <name>yarn.resourcemanager.address</name>    <value>master:8032</value></property><property>    <name>yarn.resourcemanager.scheduler.address</name>    <value>master:8030</value></property><property>    <name>yarn.resourcemanager.resource-tracker.address</name>    <value>master:8031</value></property><property>    <name>yarn.resourcemanager.admin.address</name>    <value>master:8033</value></property><property>    <name>yarn.resourcemanager.webapp.address</name>    <value>master:8088</value></property>

3、复制hadoop到slave节点

# scp -r /usr/hadoop-2.7.3 slave1:/usr# scp -r /usr/hadoop-2.7.3 slave2:/usr

4、配置 master 和 slave 的 hadoop 环境变量

# vim /etc/profile-- 添加如下内容export HADOOP_HOME=/usr/hadoop-2.7.3export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATHexport HADOOP_LOG_DIR=/usr/hadoop-2.7.3/logsexport YARN_LOG_DIR=$HADOOP_LOG_DIR-- 保存后执行# source /etc/profile# vim ~/.bashrc-- 添加如下内容export HADOOP_PREFIX=/usr/hadoop-2.7.3/

5、格式化 namenode

# /usr/hadoop-2.7.3/sbin/hdfs namenode -format

6、启动 hadoop

# /usr/hadoop-2.7.3/sbin/start-all.sh

到这一步已经成功完成了hadoop环境的搭建

三、Zookeeper环境搭建

1、解压缩 zookeeper 安装包，并建立基本目录

# tar -zxvf zookeeper-3.4.10.tar.gz -C /usr# mkdir /usr/zookeeper-3.4.10/data

2、修改配置文件

-- 复制配置文件模板# cp /usr/zookeeper-3.4.10/conf/zoo-sample.cfg /usr/zookeeper-3.4.10/conf/zoo.cfg-- 修改配置文件# vim /usr/zookeeper-3.4.10/conf/zoo.cfg-- 添加如下内容dataDir=/usr/zookeeper-3.4.10/dataserver.1=master:2888:3888server.2=slave1:2888:3888server.3=slave2:2888:3888-- 创建myid文件（master、slave1、slave2均需更新）# touch /usr/zookeeper-3.4.10/data/myid# vim /usr/zookeeper-3.4.10/myid-- 添加如下内容1（master节点添加）2（slave2节点添加）3（slave3节点添加）

3、启动zookeeper

-- master、slave1、slave2增需要执行# cd /usr/zookeeper-3.4.10/bin# ./zkServer.sh start# ./zkServer.sh status

到这一步完成了zookeeper环境的搭建

四、HBase环境搭建

1、解压缩hbase安装包

# tar -zxvf hbase-1.2.5-bin.star.gz -C /usr# mkdir /usr/hbase-1.2.5-bin/logs

2、修改配置文件

# vim /usr/hbase-1.2.5/conf/hbase-env.sh-- 添加如下内容export JAVA_HOME=/usr/java/jdk1.8.0_131export HBASE_LOG_DIR=${HBASE_HOME}/logsexport HBASE_MANAGES_ZK=false

3、修改regionservers

# vim /usr/hbase-1.2.5/conf/regionservers-- 删除localhost，新增如下内容masterslave1slave2

4、修改配置文件

# vim /usr/hbase-1.2.5/conf/hbase-site.xml-- 在configuration节点下添加如下内容<property>    <name>hbase.rootdir</name>    <value>hdfs://master:9000/hbase</value></property><property>    <name>hbase.cluster.distributed</name>    <value>true</value></property><property>    <name>hbase.zookeeper.quorum</name>    <value>master,slave1,slave2</value></property><property>    <name>hbase.zookeeper.property.dataDir</name>    <value>/usr/zookeeper-3.4.10/data</value></property><property>    <name>hbase.master</name>    <value>hdfs://master:60000</value></property>

5、复制hbase到slave中

# scp -r /usr/hbase-1.2.5 slave1:/usr# scp -r /usr/hbase-1.2.5 slave2:/usr

6、启动hbase

# /usr/hbase-1.2.5/bin/start-hbase.sh

到这一步hbase环境搭建完成

今天先写到这，后续补充hbase控制台操作及通过java api调用hbase执行基本的操作

 

　　大数据时代，Hadoop培训、大数据培训、培训班，就选光环大数据！


大数据培训、人工智能培训、Python培训、大数据培训机构、大数据培训班、数据分析培训、大数据可视化培训，就选光环大数据！光环大数据，聘请专业的大数据领域知名讲师，确保教学的整体质量与教学水准。讲师团及时掌握时代潮流技术，将前沿技能融入教学中，确保学生所学知识顺应时代所需。通过深入浅出、通俗易懂的教学方式，指导学生更快的掌握技能知识，成就上万个高薪就业学子。 更多问题咨询，欢迎点击------>>>>在线客服！

Hadoop快速入门技术汇总 人喜欢 Hadoop中Hbase的体系结构
标签:

你可能也喜欢这些

在线客服咨询

热点阅读

  • 1光环大数据培训 Hadoop技术之Hadoop HA机制学习
  • 2Hadoop快速入门技术汇总
  • 3Apache Hadoop 3.0.0 GA版正式发布 可以部署到线上
  • 4Hadoop系列学习笔记 HDFS架构
  • 5手游公司在Hadoop 集群管理上的新“绝招”
  • 6大数据之Hadoop入门 hadoop零基础请入
  • 7解析：大数据、Hadoop、存储应用的第三极
  • 8Hadoop压缩知识汇总
  • 9Hadoop的RPC设计分析 光环大数据hadoop培训
  • 10使用 Shell 脚本进行 Hadoop Spark 集群的批量安装
  • 11光环大数据 Hadoop之HDFS原理及文件上传下载源码分析
  • 12Hadoop+Spark+MongoDB+MySQL+C#大数据开发项目最佳实践

    • 网友最爱

  • 1解析：大数据、Hadoop、存储应用的第三极
  • 2搭建Hadoop开发环境
  • 3Hadoop是什么 hadoop是学习大数据钥匙
  • 4一个助Hadoop集群数据快速上云工具
  • 5分享：Hadoop 集群搭建
  • 6大数据除了Hadoop Scrapy技术学习
  • 7Hadoop培训技术分享 不会这些你成不了Hadoop高手
  • 8管理大数据之初探Hadoop
  • 9大数据时代为什么都在谈Hadoop?
  • 10科普文：从大数据到Hadoop，Spark，Storm
  • 11手游公司在Hadoop 集群管理上的新“绝招”
  • 12从Hadoop Summit 2016看大数据行业与Hadoop的发展

    • 在线客服咨询

    领取资料

    X
    立即免费领取

    请准确填写您的信息

    点击领取

    关于我们| 服务条款| 联系我们| 友情链接| RSS订阅| 网站地图| 排版工具

    Copyright © 2014-2015 光环大数据培训 All Rights Reserved. 粤ICP备15019708号-4

    本站所收录作品、热点评论等信息部分来源互联网，目的只是为了系统归纳学习和传递资讯

    所有作品版权归原创作者所有，与本站立场无关，如不慎侵犯了你的权益，请联系我们告知，我们将做删除处理！

    #第三方统计代码(模版变量) '); })();
    '); })();