idea Spark ：A master URL must be set in your configuration 解决方案

问题描述

---

idea 环境运行 Spark 代码时出现异常：

SparkException : A master URL must be set in your configuration  # 必须在配置中设置主URL
1

解析

---

根据翻译可知找不到 Master

用于配置 Master 的 几种主要 Spark 运行模式

1、Local ：本地

多用于本地测试，如在 eclipse，idea 中写程序测试等

local 本地单线程
local[K] 本地多线程（指定K个内核）
local[*] 本地多线程（指定所有可用内核）
1
2
3

2、Standalone ：需要指定ip、端口

Standalone 是 Spark 自带的一个资源调度框架，它支持完全分布式

Standalone-client 客户端模式：用于测试环境（指定Driver端所在节点的位置）
	spark://node01:7077
Standalone-cluster 集群模式：用于生产环境（随机Driver端所在节点的位置）
	spark://node01:7077
1
2
3
4

3、Yarn ：资源调用转交yarn，需要配置 HADOOP_CONF_DIR

Hadoop 生态圈里面的一个资源调度框架，Spark 也是可以基于Yarn 来计算的

 yarn-client 客户端模式：用于测试环境（指定Driver端所在节点的位置）
 yarn-cluster 集群模式：用于生产环境（随机Driver端所在节点的位置）
1
2

4、Mesos : 需要指定ip、端口

资源调度框架

这我也没用过，和yarn差不多也是个资源调度框架，用法一致
1

解决方案

---

idea 配置 Master

1、步骤：选择 Edit Configurations  -->   Modify options  -->   Add VM options
2、在 VM options 中 输入：-Dspark.master=local
1
2

---

底线。。。。