当前位置:   article > 正文

【BUG】Windows配置spark运行cmd时报错:WARN ProcfsMetricsGetter: Exception when trying to compute pagesize,..._exception when trying to compute pagesize, as a re

exception when trying to compute pagesize, as a result reporting of processt

报错:WARN ProcfsMetricsGetter: Exception when trying to compute pagesize, as a result reporting of ProcessTree metrics is stopped

解决方法:

1.配置环境

spark的解压路径下
在这里插入图片描述
将其添加到环境变量

%SPARK_HOME%\bin;%SPARK_HOME%\sbin;%SPARK_HOME%\python;%SPARK_HOME%\python\lib\py4j-0.10.9-src.zip;%PYTHONPATH%
  • 1

2.把配置中spark.executor.processTreeMetrics 改成false

修改metrics.properties.template文件为metrics.properties
在这里插入图片描述
在metrics.properties内添加:

spark.executor.processTreeMetrics.enabled=false
  • 1

基本都是spark3.0及以上的版本才会出现,相当于屏蔽掉问题。

3.使用spark-3.0以前的版本

下载地址:https://archive.apache.org/dist/spark/
下载解压spark-2.4.8-bin-hadoop2.7.tgz,如果出现一样的问题就用以上方法解决。

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/小丑西瓜9/article/detail/401167
推荐阅读
相关标签
  

闽ICP备14008679号