devbox
人工智能uu
这个屌丝很懒，什么也没留下！
关注作者
热门标签
热门文章
当前位置:   article > 正文

Spark编程进阶--期末总结（书第四章）_spark编程基础期末复习

作者：人工智能uu | 2024-07-09 02:47:34

赞

踩

spark编程基础期末复习

目录

一、Spark和Hadoop的区别

二、安装IDEA

2.1安装Scala

2.2 Scala下载

2.3 Scala插件 （版本要与IDEA版本保持一致，下载2019.2.3版本）的下载安装）

2.4 检测Scala插件是否在IDEA中已经安装成功

2.5 新建scala类文件编写代码

2.6 鼠标点击java文件夹，右键new--->Scala Class

2.7 准备好测试文件words.txt,将文件存放在scalaproject-->data-->input-->words.txt

三、编写本地运行的Spark程序

3.1 编写pom.xml文件

3.2 编写程序

四、spark-submit 详细参数说明

 五、完整代码实现

5.1 WordCount.scala文件在本地运行：

5.2 WordCount.scala文件在yarm上运行：

一、Spark和Hadoop的区别

Hadoop虽然已经成为大数据技术的事实标准，但其本身存在很多缺陷。比如，mapreduce计算模型延迟过高，无法实现实时快速计算的需求，只适用于离线批处理，I/O磁盘开销大。spark在借鉴mapreduce优点同时，很好解决了mapreduce存在的缺陷：

  1. spark计算也属于mapreduce计算，但不局限于map和reduce操作；
  2. spark提供内计算，中间结果放入内存，提高迭代运算效率
  3. 基于DAG的任务调度执行机制，优于mapreduce调度机制。

二、安装IDEA

可以在官网下载安装社区版本：

IntelliJ IDEA – the Leading Java and Kotlin IDE

2.1安装Scala

在File菜单->Settings->Plugins 插件安装界面搜索scala插件安装。

2.2 Scala下载

（我选择的版本是2.12.15）安装及环境变量的配置

官方下载地址：The Scala Programming Language (scala-lang.org)

双击打开下载好的安装程序，一直“Next”即可，最好不要安装到C盘，中间修改一下安装路径即可，最后点击“Finish”。我将scala软件安装在了D盘目录下的Develop文件夹，bin路径如下：

配置scala的系统环境变量，将scala安装的bin目录路径加入到系统环境变量path中：

win+R打开命令窗口输入：scala -verison ，进行检测是否成功配置环境变量

2.3 Scala插件 （版本要与IDEA版本保持一致，下载2019.2.3版本）的下载安装）

Scala - IntelliJ IDEs Plugin | Marketplace

下载完成后，将下载的压缩包解压到IDEA安装目录下的plugins目录下

2.4 检测Scala插件是否在IDEA中已经安装成功

2.5 新建scala类文件编写代码

 

 

2.6 鼠标点击java文件夹，右键new--->Scala Class

 

在WordCount文件中编写如下代码：

  1. import org.apache.spark.sql.SparkSession
  2. object WordCount {
  3.   def main(args: Array[String]): Unit = {
  4.     val spark = SparkSession
  5.       .builder()
  6.       .master("local[*]")
  7.       .appName("word count")
  8.       .getOrCreate()
  9.     val sc = spark.sparkContext
  10.     val rdd = sc.textFile("data/input/words.txt")
  11.     val counts = rdd.flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_)
  12.     counts.collect().foreach(println)
  13.     println("全部的单词数："+counts.count())
  14.     counts.saveAsTextFile("data/output/word-count")
  15.   }
  16. }

2.7 准备好测试文件words.txt,将文件存放在scalaproject-->data-->input-->words.txt

 

运行WordCount程序:

运行结果：

三、编写本地运行的Spark程序

3.1 编写pom.xml文件

管理spark程序依赖jar，此时要能上网，在pom.xml文件中，添加如下配置信息

  1. <repositories>
  2.         <repository>
  3.             <id>aliyun</id>
  4.             <url>http://maven.aliyun.com/nexus/content/groups/public/</url>
  5.         </repository>
  6.         <repository>
  7.             <id>apache</id>
  8.             <url>https://repository.apache.org/content/repositories/snapshots/</url>
  9.         </repository>
  10.         <repository>
  11.             <id>cloudera</id>
  12.             <url>https://repository.cloudera.com/artifactory/cloudera-repos/</url>
  13.         </repository>
  14.     </repositories>
  15.     <properties>
  16.         <encoding>UTF-8</encoding>
  17.         <maven.compiler.source>1.8</maven.compiler.source>
  18.         <maven.compiler.target>1.8</maven.compiler.target>
  19.         <scala.version>2.12.10</scala.version>
  20.         <spark.version>3.0.1</spark.version>
  21.         <hadoop.version>2.7.7</hadoop.version>
  22.     </properties>
  23.     <dependencies>
  24.         <!--依赖Scala语言-->
  25.         <dependency>
  26.             <groupId>org.scala-lang</groupId>
  27.             <artifactId>scala-library</artifactId>
  28.             <version>${scala.version}</version>
  29.         </dependency>
  30.  
  31.         <!--SparkCore依赖-->
  32.         <dependency>
  33.             <groupId>org.apache.spark</groupId>
  34.             <artifactId>spark-core_2.12</artifactId>
  35.             <version>${spark.version}</version>
  36.         </dependency>
  37.  
  38.         <!--SparkSQL依赖-->
  39.         <dependency>
  40.             <groupId>org.apache.spark</groupId>
  41.             <artifactId>spark-sql_2.12</artifactId>
  42.             <version>${spark.version}</version>
  43.         </dependency>
  44.       
  45.         <dependency>
  46.             <groupId>org.apache.hadoop</groupId>
  47.             <artifactId>hadoop-client</artifactId>
  48.             <version>2.7.5</version>
  49.         </dependency>
  50.  
  51.         <dependency>
  52.             <groupId>com.hankcs</groupId>
  53.             <artifactId>hanlp</artifactId>
  54.             <version>portable-1.7.7</version>
  55.         </dependency>
  56.       
  57.         <dependency>
  58.             <groupId>org.projectlombok</groupId>
  59.             <artifactId>lombok</artifactId>
  60.             <version>1.18.2</version>
  61.             <scope>provided</scope>
  62.         </dependency>
  63.     </dependencies>
  64.  
  65.     <build>
  66.         <sourceDirectory>src/main/scala</sourceDirectory>
  67.         <plugins>
  68.             <!-- 指定编译java的插件 -->
  69.             <plugin>
  70.                 <groupId>org.apache.maven.plugins</groupId>
  71.                 <artifactId>maven-compiler-plugin</artifactId>
  72.                 <version>3.5.1</version>
  73.             </plugin>
  74.             <!-- 指定编译scala的插件 -->
  75.             <plugin>
  76.                 <groupId>net.alchim31.maven</groupId>
  77.                 <artifactId>scala-maven-plugin</artifactId>
  78.                 <version>3.2.2</version>
  79.                 <executions>
  80.                     <execution>
  81.                         <goals>
  82.                             <goal>compile</goal>
  83.                             <goal>testCompile</goal>
  84.                         </goals>
  85.                         <configuration>
  86.                             <args>
  87.                                 <arg>-dependencyfile</arg>
  88.                                 <arg>${project.build.directory}/.scala_dependencies</arg>
  89.                             </args>
  90.                         </configuration>
  91.                     </execution>
  92.                 </executions>
  93.             </plugin>
  94.             <plugin>
  95.                 <groupId>org.apache.maven.plugins</groupId>
  96.                 <artifactId>maven-surefire-plugin</artifactId>
  97.                 <version>2.18.1</version>
  98.                 <configuration>
  99.                     <useFile>false</useFile>
  100.                     <disableXmlReport>true</disableXmlReport>
  101.                     <includes>
  102.                         <include>**/*Test.*</include>
  103.                         <include>**/*Suite.*</include>
  104.                     </includes>
  105.                 </configuration>
  106.             </plugin>
  107.             <plugin>
  108.                 <groupId>org.apache.maven.plugins</groupId>
  109.                 <artifactId>maven-shade-plugin</artifactId>
  110.                 <version>2.3</version>
  111.                 <executions>
  112.                     <execution>
  113.                         <phase>package</phase>
  114.                         <goals>
  115.                             <goal>shade</goal>
  116.                         </goals>
  117.                         <configuration>
  118.                             <filters>
  119.                                 <filter>
  120.                                     <artifact>*:*</artifact>
  121.                                     <excludes>
  122.                                         <exclude>META-INF/*.SF</exclude>
  123.                                         <exclude>META-INF/*.DSA</exclude>
  124.                                         <exclude>META-INF/*.RSA</exclude>
  125.                                     </excludes>
  126.                                 </filter>
  127.                             </filters>
  128.                             <transformers>
  129.                                 <transformer
  130.                                         implementation="org.apache.maven.plugins.shade.resource.ManifestResourceTransformer">
  131.                                     <mainClass></mainClass>
  132.                                 </transformer>
  133.                             </transformers>
  134.                         </configuration>
  135.                     </execution>
  136.                 </executions>
  137.             </plugin>
  138.         </plugins>
  139. </build>

刷新maven工程，会自动下载所需依赖jar，此时会下载时间较长，耐心等待

3.2 编写程序

WordCount .scala文件实现单词计数关键代码的解析如下：

  1.  
  2.  
  3.    //1.env/准备sc/SparkContext/Spark上下文执行环境
  4.     val conf: SparkConf = new SparkConf().setAppName("wc").setMaster("local[*]")
  5.     val sc: SparkContext = new SparkContext(conf)
  6.     sc.setLogLevel("WARN")
  7.  
  8.  
  9.     //2.source/读取数据
  10.     val lines: RDD[String] = sc.textFile("data/input/words.txt")
  11. //（这里要特别注意一下，你自己电脑的目录下要保证有这个words.txt文件）
  12.  
  13.  
  14.     //3.transformation/数据操作/转换
  15.     //切割:RDD[一个个的单词]
  16.     val words: RDD[String] = lines.flatMap(_.split(" "))
  17.     //记为1:RDD[(单词, 1)]
  18.     val wordAndOnes: RDD[(String, Int)] = words.map((_,1))
  19.     val result: RDD[(String, Int)] = wordAndOnes.reduceByKey(_+_)
  20.  
  21.  
  22.     //4.输出
  23.     //直接输出
  24.     result.foreach(println)
  25.  
  26.     //输出到指定path(可以是文件/夹)
  27.     result.repartition(1).saveAsTextFile("data/output/result")
  28.  
  29.     //为了便于查看Web-UI可以让程序
  30.     Thread.sleep(1000 * 60)
  31.  
  32.     //5.关闭资源
  33.     sc.stop()

四、spark-submit 详细参数说明

 

 五、完整代码实现

5.1 WordCount.scala文件在本地运行：

  1. package net.objet
  2. import org.apache.spark.rdd.RDD
  3. import org.apache.spark.{SparkConf, SparkContext}
  4.  
  5. object WordCount {
  6.   def main(args: Array[String]): Unit = {
  7.     //1.env/准备sc/SparkContext/Spark上下文执行环境
  8.     val conf: SparkConf = new SparkConf().setAppName("wc").setMaster("local[*]")
  9.     val sc: SparkContext = new SparkContext(conf)
  10.     sc.setLogLevel("WARN")
  11.  
  12.     //2.source/读取数据
  13.     val lines: RDD[String] = sc.textFile("data/input/words.txt")
  14.  
  15.     //3.transformation/数据操作/转换
  16.     //切割:RDD[一个个的单词]
  17.     val words: RDD[String] = lines.flatMap(_.split(" "))
  18.     //记为1:RDD[(单词, 1)]
  19.     val wordAndOnes: RDD[(String, Int)] = words.map((_,1))
  20.     val result: RDD[(String, Int)] = wordAndOnes.reduceByKey(_+_)
  21.     //4.输出
  22.     //直接输出
  23.     result.foreach(println)
  24.     //输出到指定path(可以是文件/夹)
  25.     result.repartition(1).saveAsTextFile("data/output/result")
  26.  
  27.     //为了便于查看Web-UI可以让程序
  28.     Thread.sleep(1000 * 60)
  29.     //5.关闭资源
  30.     sc.stop()
  31.   }
  32.  
  33. }

5.2 WordCount.scala文件在yarm上运行：

  1. package net
  2.  
  3. import org.apache.spark.rdd.RDD
  4. import org.apache.spark.{SparkConf, SparkContext}
  5.  
  6. object WordCount {
  7.   def main(args: Array[String]): Unit = {
  8.  
  9.     if(args.length < 2){
  10.       println("请指定input和output")
  11.       System.exit(1)//非0表示非正常退出程序
  12.     }
  13.  
  14.     //1.env/准备sc/SparkContext/Spark上下文执行环境
  15.     val conf: SparkConf = new SparkConf().setAppName("wc") //.setMaster("local[*]")
  16.     val sc: SparkContext = new SparkContext(conf)
  17.     sc.setLogLevel("WARN")
  18.  
  19.     //2.source/读取数据
  20.     val lines: RDD[String] = sc.textFile(args(0))
  21.  
  22.     //3.transformation/数据操作/转换
  23.     //切割:RDD[一个个的单词]
  24.     val words: RDD[String] = lines.flatMap(_.split(" "))
  25.     //记为1:RDD[(单词, 1)]
  26.     val wordAndOnes: RDD[(String, Int)] = words.map((_,1))
  27.     val result: RDD[(String, Int)] = wordAndOnes.reduceByKey(_+_)
  28.     //4.输出
  29.     //直接输出
  30.     result.foreach(println)
  31.     //输出到指定path(可以是文件/夹)
  32.     result.repartition(1).saveAsTextFile(args(1))
  33.  
  34.     //为了便于查看Web-UI可以让程序Thread.sleep(1000 * 60)
  35.     //5.关闭资源
  36.     sc.stop()
  37.   }
  38.  
  39. }

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/人工智能uu/article/detail/801195
推荐阅读
相关标签

Copyright © 2003-2013 www.wpsshop.cn 版权所有，并保留所有权利。

  

闽ICP备14008679号