windows下spark开发环境搭建_com.supermap.bdt.base.bdtunit

本文重点介绍在Windows下开发spark应用程序的依赖环境的搭建，其次也会针对supermap iobjects for spark产品的入门程序开发介绍。在实际配置当中遇到报错可以在评论区交流。

一、环境

1. Windows 10 64位系统
2. jdk-8u151-windows-x64.tar.gz [官网下载jdk1.8，安装并配置JAVA_HOME和path环境变量]
3. iobjectsjava9.0.1-win64-Bin.rar [解压，将其bin目录添加到path环境变量]
4. spark9.0.1.rar [解压]
5. spark-2.1.1-bin-hadoop2.7.rar，hadoop-2.7.3.rar，ideaIU-2017.3.3.exe

二、配置

• 解压spark-2.1.1-bin-hadoop2.7产品

     创建SPARK_HOME环境变量并赋值，例如D:\ProgramFiles\Spark_Dev\spark-2.1.1-bin-hadoop2.7
     创建SPARK_CLASSPATH环境变量并赋值，例如D:\ProgramFiles\Spark_Dev\spark-2.1.1-bin-hadoop2.7\jars
     将spark-2.1.1-bin-hadoop2.7产品的bin目录添加到path环境变量
1
2
3

• 解压hadoop-2.7.3产品

     创建HADOOP_HOME环境变量并赋值，例如D:\ProgramFiles\Spark_Dev\hadoop-2.7.3
     将hadoop-2.7.3产品的bin目录添加到path环境变量
     配置hadoop-env.cmd文件，指定jdk路径，如截图一
     配置hdfs-site.xml文件的节点，在hadoop目录下，新建data文件夹，以及创建namenode和datanode子文件夹，配置节点，如下截图二
1
2
3
4

• 安装idealIU开发工具，在插件管理plugins里安装scala插件

三、启动spark和hadoop

• 启动spark，打开cmd，进入spark的bin目录，执行

     spark-shell.cmd
1

• 启动hadoop，打开cmd，进入hadoop的sbin目录，执行

     start-all.cmd
1

• 检测启动情况，是否能打开管理页面http://localhost:4040/jobs/和http://localhost:8088/cluster/cluster，或者打开cmd，执行jps命令查看是否有如下节点，如截图三
  

四、supermap iobjects for spark入门程序

• 新建project，选择scala项目，选择sbt构建方式，选择scala2.11.8版本(如果没有，可在project settings里点击"+"，选择scala sdk，可在线下载2.11.8版本)，保持与spark内部使用的scala版本一致，如截图四
  
• F12打开open library setting配置界面，在libraries节点处，添加spark的jars，以及iobjects for spark的jar包，应用即可。
• 创建一个scala单例文件进行编码，本示例代码读取postgresql下的数据集。如截图五

import com.supermap.bdt.base.Util
import com.supermap.bdt.io.sdx.{DSConnectionInfo, DatasourceType, SDXReader}
import org.apache.log4j.{Level, Logger}
import org.apache.spark.{SparkConf, SparkContext}

object StartDemo {
  def main(args: Array[String]): Unit = {
    Logger.getLogger("org").setLevel(Level.ERROR)
    val conf = new SparkConf().setAppName("StartDemo").setMaster("local[*]")
    val sc = new SparkContext(conf)
    Util.configure(conf)
    val info = DSConnectionInfo(DatasourceType.PostgreSQL, "127.0.0.1:5432", "mapdata", "postgresql", Some("maptest"), Some("supermap"))
    val featureRDD = SDXReader.readFromDS(sc, info, "province", 360)
    println("对象数:" + featureRDD.count())
  }
}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16

五、spark批处理模式运行程序

• artifacts方式打包jar，设置主函数文件以及签名文件，然后应用即可，如截图六七。注:本例默认将第三方包也打入jar，如不需要，请参考artifacts的使用。
  
  
• build已配置的jar，工具栏"Build"-“Build Artifact”-“Build”，即可在上一步里配置的output dictionary目录下生成对应的jar包。
• cmd里提交spark程序，该jar包也可以在Linux环境下使用

	spark-submit.cmd --master local[4] --class StartDemo E:\\iObjectsSparkWorkspace\\SMSparkStart\\out\\artifacts\\smsparkstart_jar\\smsparkstart.jar
1

如果提交时报错"invalid signature file digest for manifest main attributes"签名无效，这是因为sbt或maven构建的工程在打包时都有这个常见错误，Windows下用压缩工具打开jar，删除meta-inf文件夹下的* .SF,* .DSA,* .RSA文件即可，Linux下采用命令删除即可。

	zip -d smsparkstart.jar META-INF/*.RSA META-INF/*.DSA META-INF/*.SF
1

注：本博文提供的spark包和hadoop包已经做了适配于Windows开发的相关文件修改。