当前位置:   article > 正文

Linux安装Spark

spark-2.4.1-bin-hadoop2.7.tgz

1、下载

http://archive.apache.org/dist/spark/spark-2.4.1/spark-2.4.1-bin-hadoop2.7.tgz

2、解压

tar -xvf spark-2.4.1-bin-hadoop2.7.tgz

3、配置环境变量SPARK_HOME

  • vim /etc/profile 或者 vim ~/.bashrc
  1. #Spark Environment
  2. export SPARK_HOME=$USER_HOME/software/spark-2.4.1-bin-hadoop2.7
  • source /etc/profile 或者 source ~/.bashrc

4、修改配置文件

  • slave配置文件复制
cp $SPARK_HOME/conf/slaves.template $SPARK_HOME/conf/slaves
  • vim $SPARK_HOME/conf/slaves

修改主机名,暂时默认为localhost,不修改

  • spark-env配置文件修改
cp $SPARK_HOME/conf/spark-env.sh.template $SPARK_HOME/conf/spark-env.sh
  • vim $SPARK_HOME/conf/spark-env.sh
  1. export USER_HOME=/home/hadoop
  2. export JAVA_HOME=$USER_HOME/software/jdk1.8.0_201
  3. export SCALA_HOME=$USER_HOME/software/scala-2.12.8
  4. export SPARK_WORKER_MEMORY=1G
  5. export HADOOP_HOME=$USER_HOME/software/hadoop-2.7.3
  6. export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
  7. export SPARK_MASTER_IP=hadoop

5、Spark启停

  1. $SPARK_HOME/sbin/start-all.sh
  2. $SPARK_HOME/sbin/stop-all.sh

启动后可以通过访问如下网址查看SPARK的控制台

http://hadoop:8080/

6、进入spark shell控制台

  1. $SPARK_HOME/bin/spark-shell
  2. Welcome to
  3. ____ __
  4. / __/__ ___ _____/ /__
  5. _\ \/ _ \/ _ `/ __/ '_/
  6. /___/ .__/\_,_/_/ /_/\_\ version 2.4.1
  7. /_/
  8. Using Scala version 2.11.12 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_201)

启动成功后,可访问http://hadoop:4040/jobs/

7、Spark测试

  • Hadoop命令
  1. hadoop fs -mkdir -p /usr/hadoop 创建/usr/hadoop文件夹
  2. hadoop fs -ls -R / 列举出根目录/下面的文件和文件夹
  3. hadoop fs -mkdir -p /usr/data/input 创建/usr/hadoop/input文件夹
  4. hadoop fs -put /home/hadoop/aaa.txt /usr/data/input 上传本地文件/home/hadoop/aaa.txt到/usr/data/input目录
  5. hadoop fs -ls -R /
  • Spark Shell测试
  1. var test_file = sc.textFile("/usr/data/input/aaa.txt")
  2. test_file.count()
  3. scala> var test_file = sc.textFile("/usr/data/input/aaa.txt")
  4. test_file: org.apache.spark.rdd.RDD[String] = /usr/data/input/aaa.txt MapPartitionsRDD[1] at textFile at <console>:24
  5. scala> test_file.count()
  6. [Stage 0:> (0 + 1) / 1 res0: Long = 5

8、Web界面查看

  1. http://hadoop:8100/ 默认端口为50070
  2. http://localhost:8100 默认端口为50070
  3. http://localhost:8088/cluster
  4. http://hadoop:8080/
  5. http://hadoop:4040/jobs/

9、命令测试

$HADOOP_HOME/bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar wordcount /bbb.txt /out
声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/从前慢现在也慢/article/detail/766838
推荐阅读
相关标签
  

闽ICP备14008679号