如何安装Spark
光环大数据是专注大数据、人工智能垂直领域高薪就业培训机构,多年来专注大数据人才培养,携17年IT培训经验,与中关村软件园共同建立国家大数据人才培养基地,并与全球知名大厂商cloudera战略合作培养中国大数据高级人才,专注为大学生及在职人员提供专业师资平台及培训服务,助力他们高薪名企就业。
1.将Spark解压并上传至/opt目录下
tar-zxvfspark-1.6.2-bin-hadoop2.6.tgz-C/opt/
2.修改环境变量
vi/etc/profile
exportSPARK_HOME=/opt/spark
exportPATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin
source/etc/profile
3.配置Spark-env.sh
a、cd/opt/spark/conf
b、cpspark-env.sh.templatespark-env.sh
c、vispark-env.sh
exportJAVA_HOME=/opt/jdk
exportSCALA_HOME=/opt/scala
exportSPARK_MASTER_IP=master
exportSPARK_MASTER_PORT=7077
exportSPARK_WORKER_CORES=1
exportSPARK_WORKER_INSTANCES=1
exportSPARK_WORKER_MEMORY=3g
exportHADOOP_CONF_DIR=/opt/hadoop/etc/hadoop
4.配置slaves
a、cd/opt/spark/conf
b、mvslaves.templateslaves
c、vislaves
master
slave01
slave02
5.启动和验证Spark
a、8080
b、spark-shell
大数据+时代,IT高薪就业培训,就选光环大数据!
大数据培训、人工智能培训、Python培训、大数据培训机构、大数据培训班、数据分析培训、大数据可视化培训,就选光环大数据!光环大数据,聘请专业的大数据领域知名讲师,确保教学的整体质量与教学水准。讲师团及时掌握时代潮流技术,将前沿技能融入教学中,确保学生所学知识顺应时代所需。通过深入浅出、通俗易懂的教学方式,指导学生更快的掌握技能知识,成就上万个高薪就业学子。 更多问题咨询,欢迎点击------>>>>在线客服!