当前位置

首页 > 大数据 > Spark > 如何安装Spark

如何安装Spark

编辑:光环大数据 来源: 互联网 时间: 2017-12-26 18:00 阅读:

  光环大数据是专注大数据、人工智能垂直领域高薪就业培训机构,多年来专注大数据人才培养,携17年IT培训经验,与中关村软件园共同建立国家大数据人才培养基地,并与全球知名大厂商cloudera战略合作培养中国大数据高级人才,专注为大学生及在职人员提供专业师资平台及培训服务,助力他们高薪名企就业。

1.将Spark解压并上传至/opt目录下

tar-zxvfspark-1.6.2-bin-hadoop2.6.tgz-C/opt/

2.修改环境变量

vi/etc/profile

exportSPARK_HOME=/opt/spark

exportPATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin

source/etc/profile

3.配置Spark-env.sh

a、cd/opt/spark/conf

b、cpspark-env.sh.templatespark-env.sh

c、vispark-env.sh

exportJAVA_HOME=/opt/jdk

exportSCALA_HOME=/opt/scala

exportSPARK_MASTER_IP=master

exportSPARK_MASTER_PORT=7077

exportSPARK_WORKER_CORES=1

exportSPARK_WORKER_INSTANCES=1

exportSPARK_WORKER_MEMORY=3g

exportHADOOP_CONF_DIR=/opt/hadoop/etc/hadoop

4.配置slaves

a、cd/opt/spark/conf

b、mvslaves.templateslaves

c、vislaves

master

slave01

slave02

5.启动和验证Spark

a、8080

b、spark-shell

  大数据+时代,IT高薪就业培训,就选光环大数据!


大数据培训、人工智能培训、Python培训、大数据培训机构、大数据培训班、数据分析培训、大数据可视化培训,就选光环大数据!光环大数据,聘请专业的大数据领域知名讲师,确保教学的整体质量与教学水准。讲师团及时掌握时代潮流技术,将前沿技能融入教学中,确保学生所学知识顺应时代所需。通过深入浅出、通俗易懂的教学方式,指导学生更快的掌握技能知识,成就上万个高薪就业学子。 更多问题咨询,欢迎点击------>>>>在线客服

你可能也喜欢这些

在线客服咨询

领取资料

X
立即免费领取

请准确填写您的信息

点击领取
#第三方统计代码(模版变量) '); })();
'); })();