Spark编程工具：使用IDEA_intellij idea读取数据并创建rdd

Spark编程工具：使用IDEA

1、实验描述

• 准备Spark编程所需的环境及安装集成开发环境IDEA，及为它安装scala插件，配置maven相关属性
• 实验时长：
  • 45分钟
• 主要步骤：
  • 解压安装IDEA
  • 配置IDEA scala 插件
  • 重启IDEA

2、实验环境

• 虚拟机数量：1
• 系统版本：Centos 7.5
• JDK 版本: 1.8.0_131
• Scala版本： scala2.11.11
• Scala IDEA版本：ideaIC-2017.2.7

3、相关技能

• Spark集成开发环境IDEA的安装配置

4、知识点

• 常见linux命令的使用
• 通过修改.bash_profile文件配置环境变量
• 安装jdk
• 安装scala
• IDEA中安装scala插件

5、实现效果

idea添加scala插件支持操作最终效果如下图：

6、实验步骤

6.1本实验要在master节点安装IDEA，首先确保安装了java 1.8

6.1.1查看master是否安装java 1.8

[zkpk@master ~]$ java -version
1

如果没有出现下图显示以安装jdk 1.8的结果，则需要安装jdk
1.8（如果已安装，则直接进入6-2；若没有安装，则按照6-1.2及剩下的部分操作）

6.1.2删除系统自带的jdk

6.1.2.1查看系统自带jdk

[zkpk@master ~]$ rpm -qa | grep java
1

6.1.2.2切换root用户，密码：zkpk

[zkpk@master ~]$ su root
1

6.1.2.3移除系统自带的jdk

[root@master zkpk]# yum remove java-1.*
1

6.1.2.4创建存放jdk文件目录

[root@master zkpk]# mkdir /usr/java
1

6.1.3将/home/zkpk/tgz下的JDK压缩包解压到/usr/java目录下

[root@master zkpk]# tar -xzvf /home/zkpk/tgz/jdk-8u131-linux-x64.tar.gz -C /usr/java
1

6.1.3.1退出root用户

[root@master zkpk]# exit
1

6.1.4配置zkpk用户环境变量

[zkpk@master ~]$ vim .bash_profile
1

6.1.4.1修改“.bash_profile”文件，将以下内容添加到文件末尾，并保存退出

export JAVA_HOME=/usr/java/jdk1.8.0_131/export PATH=$JAVA_HOME/bin:$PATH
1

6.1.5使环境变量生效：

[zkpk@master ~]$ source /home/zkpk/.bash_profile
1

6.1.6查看java是否配置成功：

[zkpk@master ~]$ java -version
1

如出现下图，说明jdk 1.8安装成功

6.2安装scala

6.2.1确定节点上是否安装scala

6.2.1.1在命令行中运行scala命令

若显示scala相关界面则直接进入步骤5-3；若出现下图效果，说明本机没有安装scala，需要按照5-2.2及以后的步骤安装scala

6.2.2将scala压缩包从/home/zkpk/tgz/spark目录中解压到用户的根目录

[zkpk@master ~]$ tar -xzvf ./tgz/spark/scala-2.11.11.tgz -C /home/zkpk
1

6.2.3查看解压出来的scala文件夹

[zkpk@master ~]$ ll scala-2.11.11/
1

6.2.4配置scala环境变量

6.2.4.1将以下内容添加到/home/zkpk/.bash_profile文件末尾

#scalaexport SCALA_HOME=/home/zkpk/scala-2.11.11export PATH=$SCALA_HOME/bin:$PATH
1

6.2.5使用修改生效

[zkpk@master ~]$ cd[zkpk@master ~]$ source .bash_profile
1

6.2.6确认scala已经成功安装

[zkpk@master ~]$ scala
1

如出现下图，则说明已成功安装scala 2.11.11

6.2.7输入:quit退出scala cli

scala> :quit
1

6.3安装IDEA集成开发环境

6.3.1将IDEA压缩包解压到用户的根目录

[zkpk@master ~]$ tar xvzf /home/zkpk/tgz/spark/ideaIC-2017.2.7.tar.gz -C /home/zkpk/
1

6.3.2进入IDEA目录，并查看内容

 [zkpk@master ~]$ cd idea-IC-172.4574.19/ [zkpk@master idea-IC-172.4574.19]$
1

6.3.3进入bin目录，并启动idea

[zkpk@master idea-IC-172.4574.19]$cd bin [zkpk@master bin]$ nohup ./idea.sh &    #后台启动idea
1

6.3.4弹出如下窗口，正在启动IDEA

6.3.5继续弹出如下窗口，配置scala plugin

6.3.5.1拷贝scala-pluin到idea的安装目录指定位置

[zkpk@master ~]$ cd[zkpk@master ~]$ cp /home/zkpk/tgz/spark/scala-intellij-bin-2017.2.7.zip  /home/zkpk/idea-IC-172.4574.19/plugins/
1

6.3.5.2点击图18中的”Configure”按钮，并选择下图中的”Plugins”选项

6.3.5.3弹出如下窗口，并点击”Install plugin from disk…”按钮

6.3.5.4弹出如下窗口，并在本地磁盘文件中找到scala插件文件，然后点击”OK”按钮

6.3.5.5回退到如下窗口，并点击”Restart Intellij IDEA”按钮，重启IDEA

6.3.5.6至此，spark的编程环境IDEA就配置好了，可以开始利用IDEA开发spark代码。

7、总结

在给IDEA安装Scala插件时，要注意IDEA的版本与scala插件的版本兼容性，具体对应关系可以参拷IDEA官网的相关知识