热门标签
热门文章
- 1VSCode配置LeetCode(C++环境配置)简述_vscode leetcode c++
- 2【Gitee的使用】Gitee的简单使用，查看/创建SSH公匙、创建版本库、拉取代码、提交代码_gitee ssh
- 3动态规划之子序列以及子数组类型的问题_划分多个子数组是哪种动态规划
- 4python依赖包安装 pip换源_python安装换源
- 5统计一批学生的平均成绩和不及格人数_c语言统计不及格人数
- 6Flask框架学习之环境配置_flask对应的python版本
- 7Python+Django+Mysql开发简单在线音乐推荐系统 基于用户的协同过滤推荐算法 音乐播放推荐系统 个性化音乐推荐系统 可视化数据分析 爬虫 机器学习 人工智能_python个性化音乐推荐系统使用什么算法
- 8【论文阅读+复现】AniPortrait: Audio-Driven Synthesis of Photorealistic Portrait Animation
- 9Zynq7020-PS端裸机--EMMC/SD驱动实现_zynq7020 emmc硬件设计
- 10Spring Boot构建RESTful API与单元测试，你真的知道软件测试按下开机键到启动发生什么吗
当前位置: article > 正文
2020-09-23_exception in thread "main" org.apache.spark.sparke
作者：我家小花儿 | 2024-04-23 15:11:51
赞
踩
exception in thread "main" org.apache.spark.sparkexception: when running wit
-----Spark
在xshell中出现如下错误：
Exception in thread "main" org.apache.spark.SparkException: When running with master 'yarn' either HADOOP_CONF_DIR or YARN_CONF_DIR must be set in the environment.
解决办法：修改/opt/module/spark-yarn/conf/spark-env.sh（spark-env.sh 最开始的名字为 spark-env.sh.template，需要将其修改为spark-env.sh ），添加YARN_CONF_DIR配置，保证后续运行任务的路径都变成集群路径，最后spark-env.sh文件的最后添加上
YARN_CONF_DIR=/opt/module/hadoop-3.1.3/etc/hadoop
声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/我家小花儿/article/detail/474537
推荐阅读
相关标签
