Spark IDEA环境搭建_idea搭建spark开发环境

创建 Maven 项目

增加 Scala 插件

添加依赖关系 

基本连接与关闭

---

创建 Maven 项目

创建新的maven

删除src目录

创建spark.core工程文件

增加 Scala 插件

Spark 由 Scala 语言开发的，所以本课件接下来的开发所使用的语言也为 Scala，咱们当 前使用的 Spark 版本为 3.0.0，默认采用的 Scala 编译版本为 2.12，所以后续开发时。我们依 然采用这个版本。开发前请保证 IDEA 开发工具中含有 Scala 开发插件

先提前准备好scala2.12的编译

 如果未采用可以看之前的流程进行：

初探Scala_open_test01的博客-CSDN博客

 查看框架支持

选择scala框架支持

 测试环境

添加依赖关系 

<dependencies>
 <dependency>
 <groupId>org.apache.spark</groupId>
 <artifactId>spark-core_2.12</artifactId>
 <version>3.0.0</version>
 </dependency>
 <dependency>
    <groupId>org.codehaus.janino</groupId>
    <artifactId>janino</artifactId>
    <version>3.0.12</version>
 </dependency>
</dependencies>

 基本连接与关闭

  def main(args: Array[String]): Unit = {
    //建立spark框架连接
      //基本配置
    val sparkConf = new SparkConf().setMaster("local").setAppName("WordCount")
        //sparkConf基础配置对象 sparkConf环境 local本地环境 应用名称：WordCount
    val sc = new SparkContext(sparkConf) //将sparkConf传入核心对象中
 
 
    //关闭spark框架连接
    sc.stop()
  }

运行查看日志信息