赞
踩
之前在idea上执行sparkSQL程序时,出现了一个如下Exception:
org.apache.spark.SparkException: A master URL must be set in your configuration,说是
没有配置master URL,那我在配置了以后程序就好使了。
需要明确一下,传递给spark的master url可以有如下几种:
local 本地单线程
local[K] 本地多线程(指定K个内核)
local[*] 本地多线程(指定所有可用内核)
spark://HOST:PORT 连接到指定的 Spark standalone cluster master,需要指定端口
mesos://HOST:PORT 连接到指定的 Mesos 集群,需要指定端口
yarn-client客户端模式 连接到 YARN 集群。需要配置 HADOOP_CONF_DIR
yarn-cluster集群模式 连接到 YARN 集群 。需要配置 HADOOP_CONF_DIR
首先单击菜单栏里的run,里面有一个Edit Configuration选项,选中这个选项。
选中以后,在出现的选项框左侧选中你要运行的项目,在右侧Configuration下有个VM options,在这个框中填入-Dspark.master=local[],然后Apply,点击OK,在运行程序就正常运行了。(需注意:填入-Dspark.master=local[]时,中间不要有空格,否则程序输出结果会乱码,无法识别)
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。