大数据学习系列之一 ----- Hadoop环境搭建 光环hadoop培训
光环大数据作为国内知名的hadoop培训的机构，聘请专业讲师面对面授课，与时俱进及时更新课程体系，为保障学员就业与多家单位进行合作，保障学员就业。光环大数据所有项目都由阿里云真实项目数据，光环大数据成为阿里云授权认证中心，毕业通过相关考试就可以获得阿里云的证书。
一、环境选择
1，服务器选择
阿里云服务器:入门型(按量付费)
操作系统:linux CentOS 6.8
Cpu：1核
内存：1G
硬盘:40G
ip:39.108.77.250
2，配置选择
JDK:1.8 （jdk-8u144-linux-x64.tar.gz）
hadoop:2.8.2 (hadoop-2.8.2.tar.gz)
3，下载地址
官网地址:
JDK：
http://www.oracle.com/technetwork/java/javase/downloads
Hadopp:
http://www.apache.org/dyn/closer.cgi/hadoop/common
百度云:
链接： http://pan.baidu.com/s/1pLqS4kF 密码：yb79
二、服务器的相关配置
在配置Hadoop之前，应该先做以下配置
1，更改主机名
首先更改主机名，目的是为了方便管理。
输入:
hostname
查看本机的名称
然后输入:
vim /etc/sysconfig/network
修改主机名称
将HOSTNAME 的名称更改为你想要设置的名称
注:主机名称更改之后，要重启(reboot)才会生效。
输入
vim /etc/hosts
添加 主机IP 和对应的主机名称，做映射。
注:在配置文件中使用主机名的话，这个映射必须做！
2，关闭防火墙
关闭防火墙，方便外部访问。
CentOS 7版本以下输入:
关闭防火墙
service iptables stop
CentOS 7 以上的版本输入：
systemctl stop firewalld.service
3，时间设置
输入:
date
查看服务器时间是否一致，若不一致则更改
更改时间命令
date -s ‘MMDDhhmmYYYY.ss’
三、Hadoop环境安装
1，下载jdk、hadoop
将下载下来的 jdk、hadoop 解压包放在home 目录下
并新建java、hadoop文件夹
3.1.1解压文件
输入:
tar -xvf jdk-8u144-linux-x64.tar.gz
tar -xvf hadoop-2.8.2.tar.gz
解压jdk和hadoop ,分别移动文件到java和hadoop文件下，
并将文件夹重命名为jdk1.8和hadoop2.8
2，JDK环境配置
首先输入
java -version
查看是否安装了JDK，如果安装了，但版本不适合的话，就卸载
3.2.1 profile 文件更改
编辑 /etc/profile 文件
输入:
vim /etc/profile
整体的配置文件:
export JAVA_HOME=/home/java/jdk1.8export JRE_HOME=/home/java/jdk1.8/jreexport CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/libexport PATH=.:${JAVA_HOME}/bin:$PATH
注: JAVA_HOME的路径是 JDK的路径
使用vim 编辑之后 记得输入
source /etc/profile
使配置生效
配置完后，输入 java -version 查看版本信息
3，Hadoop 环境配置
3.3.1 profile 文件更改
编辑 /etc/profile 文件
输入:
vim /etc/profile
整体的配置文件:
export HADOOP_HOME=/home/hadoop/hadoop2.8export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/nativeexport HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"export PATH=.:${JAVA_HOME}/bin:${HADOOP_HOME}/bin:$PATH
输入:
source /etc/profile
使配置生效
修改配置文件
3.3.2新建文件夹
在修改配置文件之前，现在root目录下建立一些文件夹。
输入:
mkdir /root/hadoop mkdir /root/hadoop/tmp mkdir /root/hadoop/var mkdir /root/hadoop/dfs mkdir /root/hadoop/dfs/name mkdir /root/hadoop/dfs/data
注:在root目录下新建文件夹是防止被莫名的删除。
首先切换到 /home/hadoop/hadoop2.8/etc/hadoop/ 目录下
3.3.3修改 core-site.xml
输入:
vim core-site.xml
在 <configuration> 添加:
<configuration><property> <name>hadoop.tmp.dir</name> <value>/root/hadoop/tmp</value> <description>Abase for other temporary directories.</description> </property> <property> <name>fs.default.name</name> <value>hdfs://test1:9000</value> </property></configuration>
说明: test1 可以替换为主机的ip。
3.3.4修改 hadoop-env.sh
输入:
vim hadoop-env.sh
将 ${JAVA_HOME} 修改为自己的JDK路径
export JAVA_HOME=${JAVA_HOME}
修改为：
export JAVA_HOME=/home/java/jdk1.8
3.4.5修改 hdfs-site.xml
输入:
vim hdfs-site.xml
在 <configuration> 添加:
<property> <name>dfs.name.dir</name> <value>/root/hadoop/dfs/name</value> <description>Path on the local filesystem where theNameNode stores the namespace and transactions logs persistently.</description></property><property> <name>dfs.data.dir</name> <value>/root/hadoop/dfs/data</value> <description>Comma separated list of paths on the localfilesystem of a DataNode where it should store its blocks.</description></property><property> <name>dfs.replication</name> <value>2</value></property><property> <name>dfs.permissions</name> <value>false</value> <description>need not permissions</description></property>
说明：dfs.permissions配置为false后，可以允许不要检查权限就生成dfs上的文件，方便倒是方便了，但是你需要防止误删除，请将它设置为true，或者直接将该property节点删除，因为默认就是true。
3.4.6 修改mapred-site.xml
如果没有 mapred-site.xml 该文件，就复制 mapred-site.xml.template 文件并重命名为 mapred-site.xml 。
输入:
vim mapred-site.xml
修改这个新建的 mapred-site.xml 文件，在 <configuration> 节点内加入配置:
<property> <name>mapred.job.tracker</name> <value>test1:49001</value></property><property> <name>mapred.local.dir</name> <value>/root/hadoop/var</value></property><property> <name>mapreduce.framework.name</name> <value>yarn</value></property>
使用的命令:
到此 Hadoop 的单机模式的配置就完成了。
四、Hadoop启动
第一次启动Hadoop需要初始化
切换到 /home/hadoop/hadoop2.8/bin目录下输入
./hadoop namenode -format
初始化成功后，可以在/root/hadoop/dfs/name 目录下(该路径在hdfs-site.xml文件中进行了相应配置，并新建了该文件夹)新增了一个current 目录以及一些文件。
启动Hadoop 主要是启动HDFS和YARN
切换到/home/hadoop/hadoop2.8/sbin目录
启动HDFS
输入:
start-dfs.sh
登录会询问是否连接，输入yes ，然后输入密码就可以了
启动YARN
输入:
start-yarn.sh
可以输入 jps 查看是否成功启动
在浏览器输入:
http://39.108.77.250:8088/cluster
到此，Hadoop的单机配置就结束了。
大数据培训、人工智能培训、Python培训、大数据培训机构、大数据培训班、数据分析培训、大数据可视化培训，就选光环大数据！光环大数据，聘请专业的大数据领域知名讲师，确保教学的整体质量与教学水准。讲师团及时掌握时代潮流技术，将前沿技能融入教学中，确保学生所学知识顺应时代所需。通过深入浅出、通俗易懂的教学方式，指导学生更快的掌握技能知识，成就上万个高薪就业学子。 更多问题咨询，欢迎点击------>>>>在线客服！
