Python运行Spark集群环境踩坑记录_spark.python.worker.memory

作者：小蓝xlanll | 2024-02-07 16:40:26

踩

spark.python.worker.memory

这一段时间一直在弄spark集群，然后开发使用的是python开发，其中环境的坑多到几度想令我放弃，这也就是公司没有配置专业搭环境的工程师的弊端，遇到事情了只能自己解决，于是自己记录下不同的坑，方便自己以后排雷，也放出来给有需要的人。

1. 在python中配置环境变量注意点首先就是python环境在集群中必须一致，如果是采用os.environ的方法的话,不然你就会遇到如下的报错

解决方法：保证每台机器上的python环境都可以通过/usr/bin/python3来进行指定

2. 因为用os.environ的方法来指定Pyspark以及spark等的环境，所以需要保证指定的路径在每个worker上都是一样的。如果某一个worker上有问题，就会出现类似如下的报错

遇到这样的报错，首先去每台worker

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/小蓝xlanll/article/detail/66436