Windows环境下安装Spark并运行WordCount例子_windows安装spark

一、Windows下安装Spark

1、提前安装Java JDK

Java版本是1.8，不能是18,16,15或者其他版本。

2、提前安装Scala

Scala版本是2.13.1版本。

3、安装Spark

• 准备好Hadoop软件包（hadoop-2.7.7）和Spark软件包（spark-2.2.0-bin-hadoop2.7）。
  
• 高级系统设置—>环境变量—>系统变量---->新建HADOOP_HOME选中Path
  
  （接上一步）—>编辑—>新建（分别新建如下图所示变量，注意自己安装的版本和路径区别）。
  

4、配置winutils（winutils.exe是在window系统上安装hadoop时所需要的winutils文件）

• 将winutils.exe文件放到hadoop-2.7.7/bin中。

5、运行spark-shell

至此spark安装成功！

二、运行WordCount例子（Scala版）

1、新建Project

• 工程命名为WordCount2，点击完成。

2、新建Scala Class

• 注意选择Object，类名字为WordCount2。
  

3、导入Spark程序依赖的jar包

• 选择spark-2.3.3-bin-hadoop2.7下的jars文件夹。
  
• 点击OK，再点击Apply，最后再点击OK。
  

4、编写WordCount代码

import org.apache.spark.SparkConf
import org.apache.spark.SparkContext
object WordCount2 {
  def main(args: Array[String])={
    val conf = new SparkConf()
      .setMaster("local")
      .setAppName("WordCount")
    val sc = new SparkContext(conf)
    val lines = sc.textFile("E:\\WordCount-Data.txt")
    val words = lines.flatMap { line => line.split(" ") }
    val pairs = words.map { word => (word, 1) }
    val wordCounts = pairs.reduceByKey { _ + _ }
    wordCounts.foreach(wordCount => println(wordCount._1 + "出现了" + wordCount._2 + "次"))
    sc.stop()
  }
}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16

• 点击运行：
  
• 运行完成得到正确结果：
  
  如果运行出现错误：
  1、illegal cyclic inheritance involving trait Iterable val …
  2、Exception in thread “main” java.lang.VerifyError: class scala.collection.mutable.WrappedArray overri…
  可能是spark和scala的版本对应不上，在IDEA中选择File—>Project structure
  

三、运行WordCount例子（Java版）

1、新建Project

• 工程命名为WordCount3，点击完成。
  

2、新建Java Class

• 类名字为wordCunt3。
• 

3、导入Spark程序依赖的jar包

• 选择spark-2.3.3-bin-hadoop2.7下的jars文件夹。
  
• 点击OK，再点击Apply，最后再点击OK。
  

4、编写WordCount代码

import java.util.Arrays;
import java.util.Iterator;

import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaPairRDD;
import org.apache.spark.api.java.JavaRDD;
import org.apache.spark.api.java.JavaSparkContext;
import org.apache.spark.api.java.function.FlatMapFunction;
import org.apache.spark.api.java.function.Function2;
import org.apache.spark.api.java.function.PairFunction;
import org.apache.spark.api.java.function.VoidFunction;
import scala.Tuple2;

public class WordCount3{
    public static void main(String[] args) {
        // 第一步：创建SparkConf对象,设置相关配置信息
        SparkConf conf = new SparkConf();
        conf.setAppName("WordCount_Java");
        conf.setMaster("local");
        // 第二步：创建JavaSparkContext对象，SparkContext是Spark的所有功能的入口
        JavaSparkContext sc = new JavaSparkContext(conf);
        // 第三步：创建一个初始的RDD
        // SparkContext中，用于根据文件类型的输入源创建RDD的方法，叫做textFile()方法
        JavaRDD<String> lines = sc.textFile("E:\\WordCount-Data.txt");
        // 第四步：对初始的RDD进行transformation操作，也就是一些计算操作
        JavaRDD<String> words = lines.flatMap(new FlatMapFunction<String, String>() {
            private static final long serialVersionUID = 1L;
            @Override
            public Iterator<String> call(String s) throws Exception {
                return Arrays.asList(s.split(" ")).iterator();
            }
        });
        JavaPairRDD<String, Integer> pairs = words.mapToPair(new PairFunction<String, String, Integer>() {
            private static final long serialVersionUID = 1L;
            @Override
            public Tuple2<String, Integer> call(String word) throws Exception {
                return new Tuple2<String, Integer>(word, 1);
            }
        });
        JavaPairRDD<String, Integer> wordCounts = pairs.reduceByKey(new Function2<Integer, Integer, Integer>() {
            private static final long serialVersionUID = 1L;
            @Override
            public Integer call(Integer v1, Integer v2) throws Exception {
                return v1 + v2;
            }
        });
        wordCounts.foreach(new VoidFunction<Tuple2<String,Integer>>() {
            private static final long serialVersionUID = 1L;
            @Override
            public void call(Tuple2<String, Integer> wordCount) throws Exception {
                System.out.println(wordCount._1 + "------" + wordCount._2+"次");
            }
        });
        sc.close();
    }
}

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57

• 点击运行：
  
• 运行完成得到正确结果：