Hadoop2.8和Spark2.1完全分布式搭建详解

hadoop2.8和Spark2.1完全分布式搭建详解

一、前期准备工作：

1.安装包的准备：

• VMware(10.0版本以上) :

2.辅助工具安装包：

• Putty：一个十分简洁的链接服务器的工具。因为虚拟机太卡了长期在上面操作的话会卡到爆。用Putty可以在主机用一个终端来操作虚拟机。

• FlashFxp：用于在宿主机上传和下载虚拟机的文件，当然VMware安装了tools之后可以随意拖拽很方便，但是还是考虑到卡爆的问题，虚拟机启动后我们完全不管他，就当作服务器来用。

3.系统基本配置：（未说明则均在主机rzxmaster上操作）

第一步：安装VMware，创建虚拟机Master，安装Vim，Mysql（mysql也可以暂且不装，但是考虑到后面组件的扩展还是先安上）。

第二步：克隆虚拟机(选择完全克隆)rzxmater，分别命名为rzxslave1，rzxslave2（这里的命名可以自行修改）。然后启动三个虚拟机。

第四步：静态Ip设置：

　　　　　　静态IP设置：但是其中有部分问题，不知道是16.0和14.0版本差异的问题还是教程本身的问题，一个是网络重启之后DNS配置丢失的问题。每次重启之后会发现配置的DNS文件恢复成了127.0.0.1
　　　　　　这个问题是由于interface，networkManager两种网络管理冲突造成的。解决方法就是在编辑链接的时候将DNS也一起编辑。这样就不用再编辑DNS的配置文件。如下图所示：
　　　　　　
　　　　　　其他步骤按博文所说就可以完成静态IP的配置。

第五步：hosts配置， 特别强调主机名称不要含有下划线"_"，最好是纯英文。  因为hadoopXML配置的时候部分value不能有下划线，会报错。

第六步：SSH免密码登录:

二、集群搭建

通过前面的准备工作我们已经获取到了所有需要的安装包，设置好了静态IP，配好了ssh免密码登录，接下就是集群的安装了。首先我所有的包都是安装在当前用户的根目录下,也就是终端打开的目录(一般是：  /home/username username是当前的用户名)，这个目录是当亲前用户的工作空间我把这个目录的位置记作  basePath=/home/username .这个basePath��以根据自己的喜好安装到别的目录下。（basePath=="~"==/home/linuxidc,我这里的basePath=/home/linuxidc）

三台虚拟机分别如下：rzxmaster是主节点(datanode)，rzxslave1,rzxslave2是分支节点(namenode)

192.168.8.137        rzxmaster

192.168.8.136        rzxslave1

192.168.8.138        rzxslave2

为 了方便管理这里在主目录建了三个文件夹：Java,spark,hadoop.  mkdir Java spark hadoop 

现在将jdk,hadoop,scala,spark的安装包分别传到路径basePath/Java,basePath/hadoop,basePah/spark下,(scala和spark的压缩包都放在spark文件夹下)。

　　大数据时代，Hadoop培训、大数据培训、培训班，就选光环大数据！

大数据培训、人工智能培训、Python培训、大数据培训机构、大数据培训班、数据分析培训、大数据可视化培训，就选光环大数据！光环大数据，聘请专业的大数据领域知名讲师，确保教学的整体质量与教学水准。讲师团及时掌握时代潮流技术，将前沿技能融入教学中，确保学生所学知识顺应时代所需。通过深入浅出、通俗易懂的教学方式，指导学生更快的掌握技能知识，成就上万个高薪就业学子。 更多问题咨询，欢迎点击------>>>>在线客服！