spark指定python版本_pyspark-如何在Spark中设置驱动程序的python版本？

pyspark-如何在Spark中设置驱动程序的python版本？

我使用的是spark 1.4.0-rc2，因此可以将Python 3与spark一起使用。 如果将export PYSPARK_DRIVER_PYTHON=python3添加到我的.bashrc文件中，则可以与python 3交互运行spark。但是，如果我想在本地模式下运行独立程序，则会收到错误消息：

Exception: Python in worker has different version 3.4 than that in driver 2.7, PySpark cannot run with different minor versions

如何为驱动程序指定python版本？ 设置export PYSPARK_DRIVER_PYTHON=python3不起作用。

Kevin asked 2019-09-30T20:04:37Z

13个解决方案

60 votes

将PYSPARK_PYTHON=python3和PYSPARK_DRIVER_PYTHON=python3都设置为python3对我来说很有效。 我在我的.bashrc中使用export进行了此操作。 最后，这些是我创建的变量：

export SPARK_HOME="$HOME/Downloads/spark-1.4.0-bin-hadoop2.4"

export IPYTHON=1

export PYSPARK_PYTHON=/usr/bin/python3

export PYSPARK_DRIVER_PYTHON=ipython3

export PYSPARK_DRIVER_PYTHON_OPTS="notebook"

我还按照本教程进行操作，以使其可在Ipython3笔记本中使用：[http://ramhiser.com/2015/02/01/configuring-ipython-notebook-support-for-pyspark/]

fccoelho answered 2019-09-30T20:05:27Z

26 votes

您需要确保要启动的独立项目是使用Python 3启动的。如果要通过spark-submit提交独立程序，那么它应该可以正常工作，但是如果要使用python启动它，请确保使用python3来启动 您的应用。

另外，请确保已在./conf/spark-env.sh中设置了环境变量（如果不存在，则可以使用spark-env.sh.template作为基础。）

Holden answered 2019-09-30T20:04:56Z

18 votes

在我的案例中有帮助：

import os

os.environ["SPARK_HOME"] = "/usr/local/Cellar/apache-spark/1.5.1/"

os.environ["PYSPARK_PYTHON"]="/usr/local/bin/python3"

Nikolay Bystritskiy answered 20