光环大数据教你Hadoop完全分布式集群安装Hbase

编辑:光环大数据 来源: 互联网 时间: 2018-02-11 17:01 阅读:

光环大数据作为国内知名的hadoop培训的机构,聘请专业讲师面对面授课,与时俱进及时更新课程体系,为保障学员就业与多家单位进行合作,保障学员就业。光环大数据所有项目都由阿里云真实项目数据,光环大数据成为阿里云授权认证中心,毕业通过相关考试就可以获得阿里云的证书。

应用场景

当我们按照hadoop完全分布式集群搭建博客搭建了hadoop以后,发现这是一个空的hadoop,只有YARN,MapReduce,HDFS,而这些实际上我们一般不会直接使用,而是需要另外部署hadoop的其他组件,来辅助使用。比如我们需要数据库,那么hadoop提供了分布式非关系型数据库hbase,用来存储半结构化,非结构化的一些数据,供我们查询使用等,下面我们来介绍一下,如何实现在完全分布式hadoop集群之上安装hbase。
操作步骤

1. 下载hbase1.2.6压缩包

hbase1.2.6下载地址
下载后上传到管理节点的opt目录下

2. 解压缩hbase和修改目录名

# cd /opt
# tar -xzvf hbase-1.2.6-bin.tar.gz
# mv hbase-1.2.6 hbase1.2.6
# chmod 777 -R /opt/hbase1.2.6
1
2
3
4

3. 配置环境变量

# vim /etc/profile

export JAVA_HOME=/opt/jdk1.8
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin

export HADOOP_HOME=/opt/hadoop2.6.0
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

export HIVE_HOME=/opt/hive2.1.1
export HIVE_CONF_DIR=$HIVE_HOME/conf
export CLASSPATH=.:$HIVE_HOME/lib:$CLASSPATH
export PATH=$PATH:$HIVE_HOME/bin

export SQOOP_HOME=/opt/sqoop1.4.6
export PATH=$PATH:$SQOOP_HOME/bin

export ZOOKEEPER_HOME=/opt/zookeeper3.4.10
export PATH=$PATH:$ZOOKEEPER_HOME/bin

export HBASE_HOME=/opt/hbase1.2.6
export PATH=$PATH:$HBASE_HOME/bin #添加最后两行,hbase的相关环境变量属性
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
# source /etc/profile #使环境变量配置生效
1

4. 修改hbase-env.sh配置文件

# vim /opt/hbase1.2.6/conf/hbase-env.sh

export JAVA_HOME=/opt/jdk1.8
export HADOOP_HOME=/opt/hadoop2.6.0
export HBASE_HOME=/opt/hbase1.2.6
export HBASE_CLASSPATH=/opt/hadoop2.6.0/etc/hadoop
export HBASE_PID_DIR=/opt/hbase1.2.6/pids
export HBASE_MANAGES_ZK=false
1
2
3
4
5
6
7
8

5. 修改hbase-site.xml配置文件

创建目录

# mkdir /opt/hbase1.2.6/tmp
# mkdir /opt/hbase1.2.6/pids
1
2
3
# cd /opt/hbase1.2.6/conf/
# vim hbase-site.xml

 

hbase.rootdir
hdfs://hadoop0:9000/hbase
The directory shared byregion servers.


hbase.zookeeper.property.clientPort
2181
Property from ZooKeeper'sconfig zoo.cfg. The port at which the clients will connect.

 

zookeeper.session.timeout
120000


hbase.zookeeper.quorum
hadoop0,hadoop1,hadoop2


hbase.tmp.dir
/opt/hbase1.2.6/tmp


hbase.cluster.distributed
true


1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32

6. 修改regionservers配置文件

# cd /opt/hbase1.2.6/conf
# vim regionservers # 添加集群的三个主机名

hadoop0
hadoop1
hadoop2
1
2
3
4
5
6

7. 拷贝管理节点的hbase到其他两个节点

# cd /opt/
# scp -r hbase1.2.6 [email protected]:/opt/
# scp -r hbase1.2.6 [email protected]:/opt/

修改环境变量添加【在其他两个节点】

export HBASE_HOME=/opt/hbase1.2.6
export PATH=$PATH:$HBASE_HOME/bin
1
2
3
4
5
6
7
8

8. 启动和测试

启动

首先先确保,hadoop和zookeeper正常运行,然后只需要在管理节点启动Hbase即可。
# cd /opt//hbase1.2.6/bin
# ./start-hbase.sh
1
2

浏览器访问:http://192.168.210.70:16010/master-status

测试

在主节点命令行,输入hbase shell,启动hbase后台


大数据培训、人工智能培训、Python培训、大数据培训机构、大数据培训班、数据分析培训、大数据可视化培训,就选光环大数据!光环大数据,聘请专业的大数据领域知名讲师,确保教学的整体质量与教学水准。讲师团及时掌握时代潮流技术,将前沿技能融入教学中,确保学生所学知识顺应时代所需。通过深入浅出、通俗易懂的教学方式,指导学生更快的掌握技能知识,成就上万个高薪就业学子。 更多问题咨询,欢迎点击------>>>>在线客服

你可能也喜欢这些

在线客服咨询

领取资料

X
立即免费领取

请准确填写您的信息

点击领取
#第三方统计代码(模版变量) '); })();
'); })();