当前位置:   article > 正文

Spark安装及配置详细步骤_配置spark环境变量

配置spark环境变量

1、安装Scala、Spark

     解压scala、spark:
     tar -zxvf scala-2.11.8.tgz
     tar -zxvf spark-2.4.4-bin-hadoop2.6.tgz

2、环境变量配置

     配置环境变量(master、slave1、slave2分别执行):
     export SCALA_HOME=/usr/local/src/scala-2.11.8
     export SPARK_HOME=/usr/local/src/spark-2.4.4-bin-hadoop2.6
     export PATH=$PATH:$SCALA_HOME/bin:$SPARK_HOME/bin:$SPARK_HOME/sbin
    注:重新加载环境变量:source ~/.bashrc

3、SPARK配置文件修改

     修改spark配置文件(spark-env.sh、slaves):
     进入spark的conf目录: cd spark-2.4.4-bin-hadoop2.6/conf/ 
     将spark-env.sh.template、slaves.template分别替换为spark-env.sh、slaves:
      mv spark-env.sh.template spark-env.sh
      mv slaves.template slaves

   配置slaves:命令行输入 vim slaves
   将最后一行localhost改为slave1 、slave2
   
   配置spark-env.sh:
         因为之前搭建hadoop过程中hosts中有域名转换,直接填Master:

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/小桥流水78/article/detail/790799
推荐阅读
相关标签
  

闽ICP备14008679号