Hadoop集群环境搭建(一) 光环大数据Hadoop培训
光环大数据培训班认为，1 集群简介
hadoop 集群具体来说包含两个集群： HDFS 集群和 YARN 集群，两者逻辑上分离，但物理上常在一起
HDFS 集群：
负责海量数据的存储，集群中的角色主要有 NameNode / DataNode
YARN 集群：
负责海量数据运算时的资源调度，集群中的角色主要有 ResourceManager /NodeManager
本集群搭建案例，以 3 节点为例进行搭建，角色分配如下：
hdp-node-01 NameNode SecondaryNameNode ResourceManagerhdp-node-02 DataNode NodeManagerhdp-node-03 DataNode NodeManager
2 服务器准备
本案例使用虚拟机服务器来搭建 HADOOP 集群，所用软件及版本：
▨ Vmware 12.0
▨ Centos 7.0 64bit
3 网络环境准备
▨ 采用 NAT 方式联网
▨ 网关地址： 192.168.33.1
▨ 3 个服务器节点 IP 地址： 192.168.33.101 、 192.168.33.102 、 192.168.33.103
▨ 子网掩码： 255.255.255.0
4 服务器系统设置
▨ 添加 HADOOP 用户
▨ 为 HADOOP 用户分配 sudoer 权限
▨ 同步时间
▨ 设置主机名
◈ hdp-node-01
◈ hdp-node-02
◈ hdp-node-03
▨ 配置内网域名映射：
◈ 192.168.33.101 hdp-node-01
◈ 192.168.33.102 hdp-node-02
◈ 192.168.33.103 hdp-node-03
▨ 配置 ssh 免密登陆
▨ 配置防火墙
5 JDK环境安装
▨ 上传 jdk 安装包
▨ 规划安装目录 /home/hadoop/apps/jdk_1.7.65
▨ 解压安装包
▨ 配置环境变量 /etc/profile
6 HADOOP安装部署
▨ 上传 HADOOP 安装包
▨ 规划安装目录 /home/hadoop/apps/hadoop-2.6.5
▨ 解压安装包 tar –zxvf hadoop-2.6.5 –C apps/
▨ 修改配置文件 $HADOOP_HOME/etc/hadoop/
最简化配置如下：
vi hadoop-env.sh
# The java implementation to use.export JAVA_HOME=/home/hadoop/apps/jdk1.7.0_45
vi core-site.xml
<configuration><property><name>fs.defaultFS</name><value>hdfs://hdp-node-01:9000</value></property><property><name>hadoop.tmp.dir</name><value>/home/HADOOP/apps/hadoop-2.6.5/tmp</value></property></configuration>
vi hdfs-site.xml
<configuration><property><name>dfs.replication</name><value>1</value></property><property><name>dfs.secondary.http.address</name><value>hdp-node-01:50090</value></property></configuration>
vi mapred-site.xml
<configuration><property><name>mapreduce.framework.name</name><value>yarn</value></property></configuration>
vi yarn-site.xml
<configuration><property><name>yarn.resourcemanager.hostname</name><value>hadoop01</value></property><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property></configuration>
vi salves
hdp-node-02hdp-node-03
7 启动集群
初始化 HDFS
bin/hadoop namenode -format
启动 HDFS
sbin/start-dfs.sh
启动 YARN
sbin/start-yarn.sh
查看集群状态
jpsbin/hdfs dfsadmin -report
8 测试——运行一个mapreduce程序
在 HADOOP 安装目录下，运行一个示例 mr 程序
cd $HADOOP_HOME/share/hadoop/mapreduce/hadoop jar mapredcue-example-2.6.5.jar wordcount /wordcount/input /wordcount/output
9 HDFS使用
1 、查看集群状态
命令： hdfs dfsadmin –report
可以看出，集群共有 3 个 datanode 可用
也可打开 web 控制台查看 HDFS 集群信息，在浏览器打开 http://hdp-node-01:50070/
2 、上传文件到 HDFS
▣ 查看 HDFS 中的目录信息
命令 ： hadoop fs –ls /
▣ 上传文件
命令： hadoop fs -put ./ scala-2.10.6.tgz to /
大数据时代，大数据培训，就选光环大数据！
大数据培训、人工智能培训、Python培训、大数据培训机构、大数据培训班、数据分析培训、大数据可视化培训，就选光环大数据！光环大数据，聘请专业的大数据领域知名讲师，确保教学的整体质量与教学水准。讲师团及时掌握时代潮流技术，将前沿技能融入教学中，确保学生所学知识顺应时代所需。通过深入浅出、通俗易懂的教学方式，指导学生更快的掌握技能知识，成就上万个高薪就业学子。 更多问题咨询，欢迎点击------>>>>在线客服！
