大数据学习_Hadoop安装
光环大数据作为国内知名的hadoop培训的机构，聘请专业讲师面对面授课，与时俱进及时更新课程体系，为保障学员就业与多家单位进行合作，保障学员就业。光环大数据所有项目都由阿里云真实项目数据，光环大数据成为阿里云授权认证中心，毕业通过相关考试就可以获得阿里云的证书。
集群架构
hadoop的安装其实就是HDFS和YARN集群的配置，从下面的架构图可以看出，HDFS的每一个DataNode都需要配置NameNode的位置。同理YARN中的每一个NodeManager都需要配置ResourceManager的位置。
NameNode和ResourceManager的作用如此重要，在集群环境下，他们存在单点问题吗？在Hadoop1.0中确实存在，不过在2.0中已经得到解决，具体参考：
https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-hdfs/HDFSHighAvailabilityWithNFS.html
https://www.ibm.com/developerworks/cn/opensource/os-cn-hadoop-name-node/index.html
配置
因为每台机器上的配置都是一样的，所以配置时一般是配置好一台服务器，然后复制到其他服务器上。
JAVA_HOME
在hadoop-env.sh文件中配置JAVA_HOME.
core-site.xml
配置hdfs文件系统，通过fs.defaultFS配置hdfs的NameNode节点。
<property> <name>fs.defaultFS</name> <value>hdfs://{hdfs-name-node-server-host}:9000</value></property>
通过hadoop.tmp.dir配置hadoop运行时产生文件的存储目录
<property> <name>hadoop.tmp.dir</name> <value>/usr/local/hadoop-data/tmp</value></property>
hdfs-site.xml
配置文件副本数量和 second namenode ：
<property> <name>dfs.replication</name> <value>1</value></property> <property> <name>dfs.secondary.http.address</name> <value>{second-namenode-host}:50090</value></property>
yarn-site.xml
配置YARN的ResourceManager：
<property> <name>yarn.resourcemanager.hostname</name> <value>{resource-manager-host}</value></property>
和reducer获取数据的方式：
<property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value></property>
最后记得把hadoop的bin和sbin目录添加到环境变量中：
export HADOOP_HOME=/user/local/hadoop-2.6.5export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
格式化namenode
hdfs namenode -format (hadoop namenode -format)
启动Hadoop
先启动HDFS的NameNode：
hadoop-daemon.sh start datanode
在集群的DataNode上启动DataNode：
hadoop-daemon.sh start datanode
查看启动结果
[[email protected] ~]# jps2111 Jps2077 NameNode
如果启动成功，通过http://server1:50070，可以看到类似下面的页面：
再启动YARN
[[email protected] sbin]# start-yarn.shstarting yarn daemonsstarting resourcemanager, logging to /usr/local/hadoop-2.6.5/logs/yarn-root-resourcemanager-vcentos1.outvcentos3: starting nodemanager, logging to /usr/local/hadoop-2.6.5/logs/yarn-root-nodemanager-vcentos3.outvcentos2: starting nodemanager, logging to /usr/local/hadoop-2.6.5/logs/yarn-root-nodemanager-vcentos2.out[[email protected] sbin]# jps2450 ResourceManager2516 Jps2077 NameNode
hadoop下的sbin目录下的文件是用来管理hadoop服务的：
hadoop-dameon.sh：用来单独启动namenode或datanode；
start/stop-dfs.sh：配合/etc/hadoop/slaves，可以批量启动/关闭NameNode和集群中的其他DataNode；
start/stop-yarn.sh：配合/etc/hadoop/slaves，可以批量启动/关闭ResourceManager和集群中的其他NodeManager；
bin目录下的文件可以提供hdfs、yarn和mapreduce服务：
[[email protected] bin]# hadoop fs Usage: hadoop fs [generic options] [-appendToFile <localsrc> ... <dst>] [-cat [-ignoreCrc] <src> ...] [-checksum <src> ...] [-chgrp [-R] GROUP PATH...] [-chmod [-R] <MODE[,MODE]... | OCTALMODE> PATH...] [-chown [-R] [OWNER][:[GROUP]] PATH...] [-copyFromLocal [-f] [-p] [-l] <localsrc> ... <dst>] [-copyToLocal [-p] [-ignoreCrc] [-crc] <src> ... <localdst>] [-count [-q] [-h] <path> ...] [-cp [-f] [-p | -p[topax]] <src> ... <dst>] [-createSnapshot <snapshotDir> [<snapshotName>]] [-deleteSnapshot <snapshotDir> <snapshotName>] [-df [-h] [<path> ...]] [-du [-s] [-h] <path> ...] [-expunge] [-get [-p] [-ignoreCrc] [-crc] <src> ... <localdst>] [-getfacl [-R] <path>] [-getfattr [-R] {-n name | -d} [-e en] <path>] [-getmerge [-nl] <src> <localdst>] [-help [cmd ...]] [-ls [-d] [-h] [-R] [<path> ...]] [-mkdir [-p] <path> ...] [-moveFromLocal <localsrc> ... <dst>] [-moveToLocal <src> <localdst>] [-mv <src> ... <dst>] [-put [-f] [-p] [-l] <localsrc> ... <dst>] [-renameSnapshot <snapshotDir> <oldName> <newName>] [-rm [-f] [-r|-R] [-skipTrash] <src> ...] [-rmdir [--ignore-fail-on-non-empty] <dir> ...] [-setfacl [-R] [{-b|-k} {-m|-x <acl_spec>} <path>]|[--set <acl_spec> <path>]] [-setfattr {-n name [-v value] | -x name} <path>] [-setrep [-R] [-w] <rep> <path> ...] [-stat [format] <path> ...] [-tail [-f] <file>] [-test -[defsz] <path>] [-text [-ignoreCrc] <src> ...] [-touchz <path> ...] [-usage [cmd ...]]大数据培训、人工智能培训、Python培训、大数据培训机构、大数据培训班、数据分析培训、大数据可视化培训，就选光环大数据！光环大数据，聘请专业的大数据领域知名讲师，确保教学的整体质量与教学水准。讲师团及时掌握时代潮流技术，将前沿技能融入教学中，确保学生所学知识顺应时代所需。通过深入浅出、通俗易懂的教学方式，指导学生更快的掌握技能知识，成就上万个高薪就业学子。 更多问题咨询，欢迎点击------>>>>在线客服！
