光环大数据教程—— Hadoop集群VSFTP和SecureCRT安装配置

前言

经过前三篇文章的介绍，已经通过VMware安装了hadoop集群环境，当然，我相信安装的过程肯定遇到或多或少的问题，这些都需要自己解决，解决的过程就是学习的过程，本篇的来介绍几个Hadoop环境中需要用到的软件，确切的说是两款：VSFTP和SecureCRT。

 

闲言少叙，进入本篇的正题。

 

 

背景

 

这里简要说明下这两款软件的作用。

 

1、VSFTP这个从字面就能理解就是搭建FTP服务器用的，为什么要搭建FTP服务呢？

 

我相信，如果按部就班的按照我之前的文章全装Hadoop的童鞋会发现一个很繁琐的过程，那就是各种配置文件的更改和拷贝，并且，因为我们是在Linux系统中操作，所以需要各种命令的熟练操作，是不是很恶心！

 

所以为了方便上述流程的操作，就需要搭建VSFTP环境，并且配合Notepad++这款软件的使用，会让你插上梦想的翅膀….飞啊飞…

 

当然，还有一点就是，一般我们都是远程操作的，FTP上传下载文件就更方便了。

 

2、SecureCRT这个软件是干嘛用的？

 

先来段官网的介绍，SecureCRT是一款支持SSH（SSH1和SSH2）的终端仿真程序，同时支持Telnet和rlogin协议。SecureCRT是一款用于连接运行包括Windows、UNIX和VMS的远程系统的理想工具。通过使用内含的VCP命令行程序可以进行加密文件的传输。

 

说的简单点，就是通过这个软件远程操作CentOS操作系统。我相信用弄过Linux操作系统，这个应该很熟悉。

 

 

技术准备

 

VMware虚拟机、CentOS 6.8 64 bit、SecureCRT、VSFTP、Notepad++

 

 

安装流程

 

以上软件需要自行从网上下载，文章最后也能给出部分软件的下载附件。

 

下面，咱们进去分布式系统的详细操作过程。

1、首先来配置VSFTP环境（root）。

 

这里的操作需要提权用超级管理员进行安装，而且一般只需要配置Master主机就可以了，因为大部分操作通过Master就可以进行控制。

 

• 第一步就是检查VSFTP是否已经安装，检查方法如下。

chkconfig | grep vsftpd
 

 

 

如果跟上面的过程没有返回任何结果，那么说明当前机器没有安装VSFTP。

 

• 第二步，利用yum命令直接下载安装

 

这里，如果经过上一步骤检查，发现安装，则利用yum命令进行下载安装，需要提示的是：这里机器需要联网。

 

yum -y install vsftpd
 

 

 

经过，上述步骤就可以成功的安装VSFTP软件了。

 

下一步，就是进行一些FTP的配置了。

 

• 第三步，手动创建FTP软件的Log日志文件。

 

这里需要手动的创建一个文件，目的是来记录Log日志。我们知道在Linux系统中一般所有的临时文件都放在系统自带的var目录下。

 

touch  /var/log/vsftpd.log
 

 

 

• 第四步，将FTP的服务设置成自启动，这样就能开机就能使用。

 

这里，需要将我们下载的VSFTP服务设置成自启动，方便与我们的的使用。

 

chkconfig  vsftpd on
 

 

 

经过上面的验证，我们已经确保vsftpd服务已经开机自启动。

 

当然，对于这个服务的启动和关闭，可以通过如下方式进行手动的设置。但是这种设置只要一重启服务器就会失效。

 

启动ftp服务：service vsftpd start

 

查看ftp服务状态：service vsftpd status

 

重启ftp服务：service vsftpd restart

 

关闭ftp服务：service vsftpd stop

 

• 第五步，配置VSFTP服务的配置文件。

ls /etc/vsftpd
 

 

 

进入vsftpd的安装目录，需要配置vsftpd.conf文件。

 

vim /etc/vsftpd/vsftpd.conf
 

anonymous_enable=YES --> anonymous_enable=NO //不允许匿名用户访问，默认是允许
xferlog_file=/var/log/vsftpd.log #设定vsftpd的服务日志保存路径。注意，该文件默认不存在。必须要手动touch出来
#idle_session_timeout=600 --> idle_session_timeout=600 //会话超时，客户端连接到ftp但未操作，默认被注释掉，可根据个人情况修改
#async_abor_enable=YES --> async_abor_enable=YES //支持异步传输功能，默认是注释掉的，去掉注释
#ascii_upload_enable=YES --> ascii_upload_enable=YES //支持ASCII模式的下载功能，默认是注释掉的，去掉注释
#ascii_download_enable=YES --> ascii_download_enable=YES //支持ASCII模式的上传功能，默认是注释掉的，去掉注释
#ftpd_banner=Welcome to blah FTP service //FTP的登录欢迎语，本身是被注释掉的，去不去都行
#chroot_local_user=YES --> chroot_local_user=YES
//禁止本地用户登出自己的FTP主目录，本身被注释掉，去掉注释

 

按照上面的步骤进行配置就可以了。

 

 

 

最后，给出一些其它配置的信息，可以根据自己需要进行配置。

 

local_enable=YES //允许本地用户访问，默认就是YES，不用改
write_enable=YES //允许写入，默认是YES，不用改
local_umask=022 //上传后文件的权限掩码，不用改
dirmessage_enable=YES //开启目录标语，默认是YES，开不开无所谓，我是默认就行
xferlog_enable=YES //开启日志，默认是YES，不用改
connect_from_port_20=YES //设定连接端口20
xferlog_std_format=YES //设定vsftpd的服务日志保存路径，不用改
pam_service_name=vsftpd //设定pam服务下vsftpdd的验证配置文件名，不用改
userlist_enable=YES //拒绝登录用户名单，不用改
TCP_wrappers=YES //限制主机对VSFTP服务器的访问，不用改（通过/etc/hosts.deny和/etc/hosts.allow这两个文件来配置）

 

到此，我们的VSFTP软件已经安装完成，下面我们就来验证一下。

 

•  第六步，验证VSFTP服务。

   

 

其实这里验证的方式就比较多了，比如我们常用的FTP软件都可以，或者你直接在命令行里面敲FTP命令验证也是可以的；

 

这里我们直接使用Notepad++软件进行编辑，因为我们的大部分操作都是对文件进行编辑，所以这里就推荐这个了。

 

关于，Notepad++软件的配置使用，这里就不介绍了，很简单，绿色软件下载下来就能使用，连安装都不需要。

 

 

 

点击按钮，进行FTP配置，过程很简单，这里我就不赘述了。

 

 

 

其它选项，一般默认就可以了，当然可以根据需要自行配置。

 

 

 

这里，我再链接的时候提示连接失败，所以这里需要几个点需要配置一下：

 

<1>关闭防火墙。<2>关闭SELinux服务，编辑 “/etc/selinux/config”文件，设置”SELINUX=disabled”。

 

然后最重要的一点就是：记得在配置完成配置文件之后，一定要重启VSFTP服务!!!实在不行，就重启服务器。

 

脚本如下：

 

service vsftpd restart
 

 

 

然后，再尝试进行重新连接。

 

 

 

好，至此，我们已经能够通过FTP直接连接到我们的Hadoop Master主机的目录了，但是从上面的界面可以看到这里默认的目录只是hadoop用户进入的目录。

 

显然，这样是不行，因为我们配置的信息基本都是分布于系统的/etc目录下，所以我们需要将VSFTP的默认设置路径进行更改。

 

在配置文件中增加以下内容：

 

# add root path
local_root=/
chroot_local_user=YES
anon_root=/

 

然后，重启VSFTP的服务，重新连接服务器就可以了。

 

 

 

看上去是不是清爽多了。在这里，我们更改配置文件就简单多了，会用记事本程序就可以操作，而且避免了一些复杂的linux命令，神马Vim等，让他们去死。

 

 

 

 

 

看上去是不是清爽多了，而且上传和下载个文件都是那么容易的。

 

所以，总之一句话：这款软件你值得拥有！

 

2、使用SecureCRT软件远程管理Linux操作系统

 

这里关于 SecureCRT软件的使用就很简单了，基本没有啥复杂的配置，就是一个远程操作软件，属于用户密码就可以直接操作。

 

更主要的这款软件和上面的Notepad++一样，纯绿色版的，直接双击就可以使用。

 

下面，我们来演示下。

 

• 点击按钮，创建回话

 

 

 

• 然后， 编辑连接信息，记住这里要选择SSH2这种方式。

 

 

 

• 编辑连接信息，输入用户名

 

 

 

• 最后，选择一种FTP连接协议，这里选择默认就可以了。

 

 

 

• 给当前的连接起一个名字就可以了。

 

 

 

在完成配置的时候，记得将如下两个选项勾选上。

 

 

 

• 然后选择相应的服务器，连接就可以了，这里一般我们需要管理多台服务器，所以按照上面的步骤将所需要的都进行配置。

 

 

 

在第一次连接的时候，需要生成密钥，这里记得选择接受并保存按钮。这样下次就不需要输入任何密码了。

 

 

 

连接成功之后就是上面的德行了，是不是很酷？

 

哈哈…这里还需要几个小细节的设置，来提示下，首先显示的字体和颜色，需要从这里设置：

 

 

 

这里选择的仿真终端要选择Linux，告诉软件，我连接的是Linux系统。让他自动识别某些命令。

 

 

 

然后，就是字符编码和显示字体，颜色等了，可以根据自己喜好进行选择，但是编码方式一定要选择UTF-8这种方式，因为只有这种方式显示的中文文件才不至于乱码！

 

 

 

然后，就可以在窗口中进行命令的操作了。简单大气，非常实用的一款软件。

 

 

 

然后，就是各种玩了。

 

 

结语

 

此篇先到此吧，关于Hadoop大数据集群的搭建后续依次介绍，比如利用Zookeeper搭建Hadoop高可用平台、Map-Reducer层序的开发、Hive产品的数据分析、Spark的应用程序的开发、Hue的集群坏境的集成和运维、Sqoop2的数据抽取等，有兴趣的童鞋可以提前关注。

 

本篇主要介绍了在我们日常进行远程Linux系统管理所需要的两款实用软件…当然，这些只是一些工具，所带来的好处就是方便操作。这里需要强调的是：基础积累很重要！

 

　　大数据培训哪家好、大数据培训靠谱吗、大数据培训排行榜、大数据培训费用、大数据培训多少钱等相关问题，欢迎咨询光环大数据官网在线客服：hadoop.aura.cn

 

 

大数据培训、人工智能培训、Python培训、大数据培训机构、大数据培训班、数据分析培训、大数据可视化培训，就选光环大数据！光环大数据，聘请专业的大数据领域知名讲师，确保教学的整体质量与教学水准。讲师团及时掌握时代潮流技术，将前沿技能融入教学中，确保学生所学知识顺应时代所需。通过深入浅出、通俗易懂的教学方式，指导学生更快的掌握技能知识，成就上万个高薪就业学子。 更多问题咨询，欢迎点击------>>>>在线客服！