Hadoop分布式集群搭建分享
本文章我们使用hadoop2.6.0版本配置Hadoop集群，同时配置NameNode+HA、ResourceManager+HA，并使用zookeeper来管理Hadoop集群。
由于文章内容太多，下面只列出目录，文档在附件里，大家可以自己下载!
1.1 写在前面的话
1.2 (一)HDFS概述
1.2.1 基础架构
1、NameNode(Master)
1)命名空间管理：命名空间支持对HDFS中的目录、文件和块做类似文件系统的创建、修改、删除、列表文件和目录等基本操作。
2)块存储管理。
1.2.2 HA架构
从上面的架构图可以看出，使用Active NameNode，Standby NameNode 两个节点可以解决单点问题，两个节点通过JounalNode共享状态，通过ZKFC 选举Active ，监控状态，自动备份。
1、Active NameNode
接受client的RPC请求并处理，同时写自己的Editlog和共享存储上的Editlog，接收DataNode的Block report, block location updates和heartbeat。
2、Standby NameNode
同样会接到来自DataNode的Block report, block location updates和heartbeat，同时会从共享存储的Editlog上读取并执行这些log操作，保持自己NameNode中的元数据(Namespcae information + Block locations map)和Active NameNode中的元数据是同步的。所以说Standby模式的NameNode是一个热备(Hot Standby NameNode)，一旦切换成Active模式，马上就可以提供NameNode服务。
3、JounalNode
用于Active NameNode ， Standby NameNode 同步数据，本身由一组JounnalNode节点组成，该组节点奇数个。
4、ZKFC
监控NameNode进程，自动备份。
1.3 (二)YARN概述
1.3.1 基础架构
1.3.2 HA架构
1.4 (三)规划
1.4.1 主机规划
1.4.2 软件规划
1.4.3 用户规划
1.4.4 目录规划
1.5 (四)集群安装前的环境检查
1.5.1 时钟同步
1.5.2 hosts文件检查
1.5.3 禁用防火墙
1.6 (五)配置SSH免密码通信
1.7 (六)脚本工具的使用
1.8 (七)jdk安装
1.9 (八)Zookeeper安装
1.10 (九)hadoop集群环境搭建
1.10.1 配置HDFS
1.10.2 hdfs配置完毕后启动顺序
1.10.3 YARN安装配置
大数据时代，Hadoop培训、大数据培训、培训班，就选光环大数据！
大数据培训、人工智能培训、Python培训、大数据培训机构、大数据培训班、数据分析培训、大数据可视化培训，就选光环大数据！光环大数据，聘请专业的大数据领域知名讲师，确保教学的整体质量与教学水准。讲师团及时掌握时代潮流技术，将前沿技能融入教学中，确保学生所学知识顺应时代所需。通过深入浅出、通俗易懂的教学方式，指导学生更快的掌握技能知识，成就上万个高薪就业学子。 更多问题咨询，欢迎点击------>>>>在线客服！
