配置spark，并在idea中搭建项目_idea使用spark

网上的普遍太久远，不太适配，记录自己的完美搭建

一、配置spark

1.配置maven（注意选择版本为3.6.3）

参考：https://blog.csdn.net/huo920/article/details/82082403
但这一步是多余的

2.下载scala（注意版本对应为2.12）

查看scala版本：scala -version
查看对应关系：https://mvnrepository.com/artifact/org.apache.spark/spark-core

安装scala参考：https://cloud.tencent.com/developer/article/1733776
官网：https://www.scala-lang.org/download/
然后选择特定的版本

3.下载spark（注意版本选择3.1.3）
不要太新了，否则spark-shell会报错，需要降低版本
https://zhuanlan.zhihu.com/p/149469688
检验：cmd中spark-shell

二、搭建idea项目

1.创建项目

由于版本较新，maven版本配置全靠自己琢磨，可惜自己没琢磨透
感谢好友@玥的热心帮助，通过直接创建项目解决问题
参考：https://blog.csdn.net/github_38924695/article/details/118510289?utm_source=app&app_version=5.3.1&code=app_1562916241&uLinkId=usr1mkqgl919blen
注意：点击IDEA右上角放大镜左边的按钮（Project Structure），或者快捷键ctrl + shift + alt + S，点击Modules：
（要包括scala-sdk和spark的jars包：D:\Programs\pyspark\spark-3.1.3-bin-hadoop3.2\jars）

2.导包解决爆红

import org.apache.spark.{SparkConf, SparkContext}
import org.apache.spark.sql.{Dataset, SparkSession}
1
2

3.成果展示

4.附上测试代码
注意！！package和object test1 为自己的哈

package main.scala

object test1 {
  def main(args: Array[String]): Unit = {
    println("Hello Scala")
  }
}
1
2
3
4
5
6
7

三、心得
完结撒花，仙女落泪QAQ

有问题可以发评论区，我看到会回复
折腾三天，理论把坑踩遍了hhh