devbox
2023面试高手
这个屌丝很懒，什么也没留下！
关注作者
热门标签
热门文章
当前位置:   article > 正文

IntelliJ IDEA创建一个spark的项目_idea创建javaspark项目

作者：2023面试高手 | 2024-04-13 00:39:23

赞

踩

idea创建javaspark项目

在开始之前，需要说明的是 要跑通基本的wordcount程序，是不需要在windows上安装 hadoop 和spark的，因为idea在跑程序的时候，会按照 pom.xml配置文件，从指定的 repository源，按照properties指定的版本，下载dependency中指定的依赖包 。 
如果需要在本地通过 spark-shell，或者 运行开发完的包，那么就需要完整的hadoop 和spark环境，就需要把这两个都安装好。

我是新入门，之前idea建立spark项目是同事指导着创建的，但是过了一段时间，具体步骤都不记得了，所以试着自己重新建立一个新的spark项目，算是熟悉一下IDEA这个工具吧。

参考文档：写的很详细

Windows平台搭建Spark开发环境（Intellij idea 2020.1社区版+Maven 3.6.3+Scala 2.11.8）_windows下安装scala+hadoop+spark运行环境,集成到idea中-CSDN博客

1. 需要安装的软件及版本

        jdk1.8-1.8.0_25

        Scala:Scala code runner version 2.11.12

        Intellij idea 2019.2.3（community edition）

        Maven：apache-maven-3.6.3

2.配置环境变量 及 验证

        配置环境变量过程中 前面的是 变量名（如 JAVA_HOME），后面是变量的值（C:\Program Files\Java）。

        1. java

                新增系统环境变量：JAVA_HOME  C:\Program Files\Java

                PATH 中增加：C:\Program Files\Java\jdk1.8.0_91\bin 和 C:\Program Files\Java\jre1.8.0_91\bin

                CLASSPATH 中要增加：.;%JAVA_HOME%\lib;%JAVA_HOME%\lib\tools.jar;

                验证是否安装成功（文字是粘的别人的，代码是我本机运行的）：

  1. C:\Users\brayden.liu>java -version
  2. java version "1.4.2_03"
  3. Java(TM) 2 Runtime Environment, Standard Edition (build 1.4.2_03-b02)
  4. Java HotSpot(TM) Client VM (build 1.4.2_03-b02, mixed mode)
  5.

        2.Scala

                新增系统环境变量：SCALA_HOME C:\Program Files (x86)\scala
                PATH 中增加：%SCALA_HOME%\bin

                验证

  1. C:\Users\brayden.liu>scala -version
  2. Picked up JAVA_TOOL_OPTIONS: -Djava.vendor="Sun Microsystems Inc."
  3. Scala code runner version 2.11.12 -- Copyright 2002-2017, LAMP/EPFL

        3.Maven

                原文是：

                Maven下载后，解压到了D:\spark_study ，删除了 apache-maven-3.6.3-bin目录，路径为D:\spark_study\apache-maven-3.6.3

                我记得我安装时候，就是直接解压缩放到D:\dev_home\apache-maven-3.6.3,好像也能用

                注意一下操作

                        新增系统环境变量：MAVEN_HOME D:\spark_study\apache-maven-3.6.3
                        新增系统环境变量：MAVEN_OPTS -Xms128m -Xmx512m
                        CLASSPATH 中要增加：%MAVEN_HOME%\bin

                        设置 本地maven 仓库 的路径为：D:\spark_study\localWarehouse，这个路径就是用来存放下载各种依赖包的。如果采用idea默认的Maven，那么仓库地址一般是 C:\Users\用户名\.m2 ，建议自己设置路径而非采用默认的路径。

        重点     

        打开 D:\dev_home\apache-maven-3.6.3\conf\settings.xml，在文件中添加：   

               <localRepository>D:\spark_study\localWarehouse</localRepository>

        后面加载maven的时候，可以联动带出本地仓库

        接下来设置 国内maven仓库 如阿里仓库，后面就会从这个镜像地址下载依赖包，速度会更快。

在 <mirrors>标签中添加：
<mirror>
    <id>nexus-aliyun</id>
    <mirrorOf>central</mirrorOf>
    <name>Nexus aliyun</name>
    <url>http://maven.aliyun.com/nexus/content/groups/public</url>
</mirror>

        验证（靠，后面有异常，但是好像不影响使用）

  1. C:\Users\brayden.liu>mvn -V
  2. Picked up JAVA_TOOL_OPTIONS: -Djava.vendor="Sun Microsystems Inc."
  3. Apache Maven 3.6.3 (cecedd343002696d0abb50b32b541b8a6ba2883f)
  4. Maven home: D:\dev_home\apache-maven-3.6.3\bin\..
  5. Java version: 1.8.0_251, vendor: Sun Microsystems Inc., runtime: C:\Program Files\Java\jdk1.8.0_251\jre
  6. Default locale: zh_CN, platform encoding: GBK
  7. OS name: "windows 10", version: "10.0", arch: "amd64", family: "windows"
  8. [INFO] Scanning for projects...
  9. [INFO] ------------------------------------------------------------------------
  10. [INFO] BUILD FAILURE
  11. [INFO] ------------------------------------------------------------------------
  12. [INFO] Total time:  0.161 s
  13. [INFO] Finished at: 2023-12-08T15:10:31+08:00
  14. [INFO] ------------------------------------------------------------------------
  15. [ERROR] No goals have been specified for this build. You must specify a valid lifecycle phase or a goal in the format <plugin-prefix>:<goal> or <plugin-group-id>:<plugin-artifact-id>[:<plugin-version>]:<goal>. Available lifecycle phases are: validate, initialize, generate-sources, process-sources, generate-resources, process-resources, compile, process-classes, generate-test-sources, process-test-sources, generate-test-resources, process-test-resources, test-compile, process-test-classes, test, prepare-package, package, pre-integration-test, integration-test, post-integration-test, verify, install, deploy, pre-clean, clean, post-clean, pre-site, site, post-site, site-deploy. -> [Help 1]
  16. [ERROR]
  17. [ERROR] To see the full stack trace of the errors, re-run Maven with the -e switch.
  18. [ERROR] Re-run Maven using the -X switch to enable full debug logging.
  19. [ERROR]
  20. [ERROR] For more information about the errors and possible solutions, please read the following articles:
  21. [ERROR] [Help 1] http://cwiki.apache.org/confluence/display/MAVEN/NoGoalSpecifiedException

3.配置intellij idea

        1.安装软件

        特别需要注意的是 这里只是安装社区版，没有安装专业版，因为社区版也够用了。

        另外，如果用专业版，特别是来回安装了多次，会出现 安装完后，双击打开没有反应的问题，需要把 C:\Users\用户名\.IntelliJIdea版本号 这个目录底下的文件全部删除。

        注意勾选红色框部分，然后一步一步安装就行。

        图片是我粘的和我本机大差不差吧

        2、安装scala插件

通过菜单 File -》Settings 进入如下页面，然后输入 scala 找到要安装的插件，点击 安装。按照提示，需要重启 IDE。

如果你已经下载了，好像可以本地安装，我是早就安装好了的，所以不太记得了。

如果 显示找不到插件，可以通过 点击 Auto-detect proxy settings 来设置代理（注意 这里并不需要输入具体的url），点击保存。

3、配置java、scala、maven

        重点，这里是重点

        通过菜单 File -》Project Structure 进入页面进行设置：

 Global Libraries 点击 + 号，选择 Scala SDK

通过菜单 File-》Settings -》 Build,Exection,Deployment -》 Build Tools -》 Maven进入页面，要修改 Maven home directory，User settings file，Local repository，最后点击 OK 保存。

这里采用 手动安装的Maven 3.6.3版本，而非idea自带的Maven，同时指定相应的 settings.xml文件、Maven仓库的路径。

图片是我粘的别人的文档，我的也差不多，另外别忘了左边的勾选框

在IEDA中设置apache

file->settings->Build,Execution,Deployment->build Tools->maven

        maven home directory:本机的maven的位置

                我的是在D:/dev_home/apache-maven-3.6.3

        User settings file:maven的设置文件位置，是在maven home directory路进下

                我的是在D:\dev_home\apache-maven-3.6.3\conf\settings.xml

                记得后边的Override勾选框勾上

        Loca repository:本地jar仓库位置

                我的是在E:\repository--这个由于前面在maven中设置了，所以这里自动带出来了，很好。

然后 继续点击 Maven 左侧的向右的三角形，展开子菜单，点击 Importing ，再勾选 红色框的3个 复选框，点击 OK 保存。

这里不知道具体是干啥的，我的软件只有前两项，感觉勾不勾差不多

4.intellij idea中新建项目

File -》New -》Project，注意 不要勾选 “Create from archetype”（这里是重点，用了后运行程序会报一些莫名其妙的错误），因为 scala-archetype-simple:1.2 版本太低，会有很多问题，也就是上面下载的 插件并没有排上用场，这也是试了很多次才发现的。。。 

图片依然是粘的别人的，我都和这个有些不同，但是大差不差

修改pom.xml文件，在 </project> 前面增加 依赖项：

这个pom是我本机的，不太明白都是干啥的，所以查了文档，加了一些备注，后面再逐步明细吧

  1. <?xml version="1.0" encoding="UTF-8"?>
  2.  
  3. <project xmlns="http://maven.apache.org/POM/4.0.0"
  4.          xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
  5.          xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
  6.   <modelVersion>4.0.0</modelVersion>
  7.  
  8.   <!--
  9.     groupId(组织的ID)：表示当前模块所属于的项目
  10.     artifactId：模块的ID,如果是项目级的那就是项目名
  11.     version：当前的版本
  12.   -->
  13.   <groupId>testNewProject1</groupId>
  14.   <artifactId>testNewProject1</artifactId>
  15.   <packaging>pom</packaging>
  16.   <version>1.0-SNAPSHOT</version>
  17.  
  18.   <!--modules
  19.       这里需要在file->project structure里面建立一个新的modules
  20.       并且在他下面建立一个pom
  21.       这里指定后，本pom的参数可以被scala继承
  22.    -->
  23.   <modules>
  24.     <module>scala</module>
  25.   </modules>
  26.  
  27.   <!--properties
  28.     全局属性，一般情况下同于定义全局的jar包的版本
  29.     作用：比如在properties中定义版本<ljy.version>4.3.12</ljy.version>
  30.           那么在对于的依赖下添加${ljy.version}
  31.           在properties中改了 后面对应的依赖版本也跟着改了（方便）
  32.           在依赖的version中alt+ctrl+v（快速提取）
  33.   -->
  34.   <properties>
  35.     <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
  36.     <encoding>UTF-8</encoding>
  37.     <java.version>1.8</java.version>
  38.     <scala.version>2.11.12</scala.version>
  39.     <maven.compiler.source>1.8</maven.compiler.source>
  40.     <maven.compiler.target>1.8</maven.compiler.target>
  41.     <cdh.version>3.3.0-cdh6.3.1</cdh.version>
  42.     <hadoop.version>3.3.0</hadoop.version>
  43.     <hbase.version>2.1.0</hbase.version>
  44.     <hive-jdbc.version>2.1.1</hive-jdbc.version>
  45.     <spark2.version>2.4.0</spark2.version>
  46.     <spark.version>2.4.0</spark.version>
  47.     <maven.version>3.3</maven.version>
  48.     <parquet.version>1.0.0-cdh6.3.1</parquet.version>
  49.     <hbase-spark.version>2.1.0-cdh6.3.1</hbase-spark.version>
  50.     <kafka.version>0.11.0.1</kafka.version>
  51.     <hive.version>2.1.1</hive.version>
  52.     <kudu-client.version>1.10.0-cdh6.3.1</kudu-client.version>
  53.     <config.version>1.2.1</config.version>
  54.     <zkclient.version>0.10</zkclient.version>
  55.     <guava.version>18.0</guava.version>
  56.     <redis.version>2.8.2</redis.version>
  57.     <mysql.version>5.1.34</mysql.version>
  58.     <ojdbc.version>11.1.0.7.0</ojdbc.version>
  59.     <junit.version>3.8.1</junit.version>
  60.     <fast.version>1.2.62</fast.version>
  61.     <jcommander.version>1.71</jcommander.version>
  62.   </properties>
  63.  
  64.  
  65.   <build>
  66.     <pluginManagement>
  67.       <!--plugins
  68.       配置插件，是一种工具
  69.       -->
  70.       <plugins>
  71.         <plugin>
  72.           <groupId>net.alchim31.maven</groupId>
  73.           <artifactId>scala-maven-plugin</artifactId>
  74.           <version>3.2.1</version>
  75.         </plugin>
  76.         <plugin>
  77.           <groupId>org.apache.maven.plugins</groupId>
  78.           <artifactId>maven-compiler-plugin</artifactId>
  79.           <version>2.3.1</version>
  80.         </plugin>
  81.       </plugins>
  82.     </pluginManagement>
  83.  
  84.   </build>
  85.  
  86.   <!--repositories
  87.     用来配置当前工程使用的远程仓库
  88.     依赖查找的顺序：本地仓库——>当前工程pom.xml中配置的远程仓库——>setting.xml中配置的远程仓库
  89.     spring为例：url 是spring官方地址
  90.   -->
  91.   <repositories>
  92.     <repository>
  93.       <id>apache.snapshots</id>
  94.       <name>Apache Snapshot Repository</name>
  95.       <url>https://repository.apache.org/content/repositories/snapshots/</url>
  96.     </repository>
  97.     <repository>
  98.       <id>cdh.repo</id>
  99.       <name>Cloudera Repositories</name>
  100.       <url>https://repository.cloudera.com/artifactory/cloudera-repos</url>
  101.       <snapshots>
  102.         <enabled>false</enabled>
  103.       </snapshots>
  104.     </repository>
  105.     <repository>
  106.       <id>scala-tools.org</id>
  107.       <name>Scala-tools Maven2 Repository</name>
  108.       <url>http://scala-tools.org/repo-releases</url>
  109.     </repository>
  110.   </repositories>
  111.  
  112.   <pluginRepositories>
  113.     <pluginRepository>
  114.       <id>scala-tools.org</id>
  115.       <name>Scala-tools Maven2 Repository</name>
  116.       <url>http://scala-tools.org/repo-releases</url>
  117.     </pluginRepository>
  118.     <pluginRepository>
  119.       <id>cloudera-repos</id>
  120.       <name>Cloudera Repos</name>
  121.       <url>https://repository.cloudera.com/artifactory/cloudera-repos/</url>
  122.     </pluginRepository>
  123.   </pluginRepositories>
  124.  
  125.   <!--dependencies
  126.   模块的依赖信息
  127.   scope：作用域,具体指含义如下
  128.     compile:该依赖可以在整个项目中使用，参与打包部署，默认值，如：commons-fileupload
  129.     test:该依赖只能在测试代码中使用，并且不参与打包部署的，如：junit
  130.     provided:该依赖编写源代码时需要，不参与打包部署，如：servlet-api、jsp-api
  131.     runtime:该依赖编写代码时不需要，运行时需要，参与打包部署，如：mysql-connector
  132.     system:表示使用本地系统路径下的jar包，需要和一个systemPath一起使用，如：ojdbc.jar
  133.   -->
  134.   <dependencies>
  135.     <dependency>
  136.       <groupId>junit</groupId>
  137.       <artifactId>junit</artifactId>
  138.       <version>3.8.1</version>
  139.       <scope>test</scope>
  140.     </dependency>
  141.     <!--<dependency>
  142.         <groupId>com.alibaba.otter</groupId>
  143.         <artifactId>canal.client</artifactId>
  144.         <version>1.0.25</version>
  145.     </dependency>
  146.     <dependency>
  147.         <groupId>org.springframework</groupId>
  148.         <artifactId>spring-core</artifactId>
  149.         <version>2.5.6</version>
  150.     </dependency>-->
  151.     <!--<dependency>
  152.       <groupId>org.apache.kudu</groupId>
  153.       <artifactId>kudu-client</artifactId>
  154.       <version>1.10.0-cdh6.3.1</version>
  155.     </dependency>-->
  156.     <dependency>
  157.       <groupId>org.apache.spark</groupId>
  158.       <artifactId>spark-core_2.11</artifactId>
  159.       <version>${spark2.version}</version>
  160.       <!-- <scope>runtime</scope> -->
  161.     </dependency>
  162.     <dependency>
  163.       <groupId>org.apache.spark</groupId>
  164.       <artifactId>spark-sql_2.11</artifactId>
  165.       <version>${spark2.version}</version>
  166.       <!-- <version>2.2.0</version> -->
  167.     </dependency>
  168.  
  169.     <dependency>
  170.       <groupId>com.alibaba</groupId>
  171.       <artifactId>fastjson</artifactId>
  172.       <version>${fast.version}</version>
  173.     </dependency>
  174.     <!-- hive impala -->
  175.     <dependency>
  176.       <groupId>org.apache.hive</groupId>
  177.       <artifactId>hive-jdbc</artifactId>
  178.       <version>1.2.1</version>
  179.       <exclusions>
  180.         <exclusion>
  181.           <groupId>org.eclipse.jetty.aggregate</groupId>
  182.           <artifactId>jetty-all</artifactId>
  183.         </exclusion>
  184.         <exclusion>
  185.           <groupId>org.apache.hive</groupId>
  186.           <artifactId>hive-shims</artifactId>
  187.         </exclusion>
  188.       </exclusions>
  189.     </dependency>
  190.     <dependency>
  191.       <groupId>org.mongodb.spark</groupId>
  192.       <artifactId>mongo-spark-connector_2.11</artifactId>
  193.       <version>2.3.0</version>
  194.     </dependency>
  195.     <dependency>
  196.       <groupId>org.mongodb</groupId>
  197.       <artifactId>mongo-java-driver</artifactId>
  198.       <version>3.8.0</version>
  199.     </dependency>
  200.     <dependency>
  201.       <groupId>org.mongodb</groupId>
  202.       <artifactId>casbah_2.10</artifactId>
  203.       <version>3.1.1</version>
  204.       <type>pom</type>
  205.     </dependency>
  206.     <dependency>
  207.       <groupId>org.apache.spark</groupId>
  208.       <artifactId>spark-hive_2.11</artifactId>
  209.       <version>2.4.0</version>
  210.     </dependency>
  211.     <dependency>
  212.       <groupId>org.apache.hive</groupId>
  213.       <artifactId>hive-exec</artifactId>
  214.       <version>2.1.1</version>
  215.     </dependency>
  216.     <dependency>
  217.       <groupId>mysql</groupId>
  218.       <artifactId>mysql-connector-java</artifactId>
  219.       <version>5.1.46</version>
  220.     </dependency>
  221.     <dependency>
  222.       <groupId>commons-io</groupId>
  223.       <artifactId>commons-io</artifactId>
  224.       <version>2.6</version>
  225.     </dependency>
  226.     <dependency>
  227.       <groupId>com.crealytics</groupId>
  228.       <artifactId>spark-excel_2.11</artifactId>
  229.       <version>0.12.2</version>
  230.     </dependency>
  231.   </dependencies>
  232.  
  233. </project>

然后 右键项目中的 pom.xml 文件 -》Maven -》reload project 下载依赖包：

5.编写WordCount代码

右键 Main 目录 -》 New -》 Directory ，目录名称为： scala

右键 scala 目录 -》Make Directory as -》Generate Sources Root

 右键 scala 目录-》New -》scala class -》 object ，名称为：WordCoun

这里有个诡异的事情，我右键后，找不到scala的创建，然后使用file创建了个文件，文件名后缀.scala，执行后删除该文件，再右键新建的时候，可以创建scala的object了，很神奇！！！

6.出现的异常

1. 报错Exception in thread "main" java.lang.ClassNotFoundException: oracle.jdbc.driver.OracleDriver

写了一个scala来测试项目是否正常，主体逻辑是连接oracle，查询一个表，展示到工作台

但是报错：

Exception in thread "main" java.lang.ClassNotFoundException: oracle.jdbc.driver.OracleDriver

很奇怪，之前项目里面是可以正常使用的，但是新的不行，对比了以下，发现新项目的External Libraies中没有Oracle

试了手动在Project structure中导入，刷新Libraries等，依然报错。

并且发现本地仓库中有这个Oracle驱动类的。

最后，想到是不是pom中没加，手动加上，idea自动导入到了Libraries，程序可以正常运行了。

所以可见，External Libraries中的类是根据pom来导入的。

  1.         <dependency>
  2.             <groupId>com.oracle</groupId>
  3.             <artifactId>ojdbc6</artifactId>
  4.             <version>11.1.0.7.0</version>
  5.         </dependency>

说一下猜测：

        com.oracle：是该类的路径

        ojdbc6：类名，但是时间上也是路径下的文件夹

        11.1.0.7.0：版本，感觉也是类名下的文件夹

        因为，这个驱动jar就是放在这个路径下的

                E:\repository\com\oracle\ojdbc6\11.1.0.7.0

        而 E:\repository 这个路径是我在file->setting->Build,Execution,Deployment->Build Tool->Maven的Local repository中设置的

本文内容由网友自发贡献，转载请注明出处：https://www.wpsshop.cn/w/2023面试高手/article/detail/413449
推荐阅读
相关标签

Copyright © 2003-2013 www.wpsshop.cn 版权所有，并保留所有权利。

  

闽ICP备14008679号