当前位置:   article > 正文

0485-如何在代码中指定PySpark的Python运行环境_python中使用了pyspark,如何使编译出的exe文件可以在另一个没有spark环境变量的环

python中使用了pyspark,如何使编译出的exe文件可以在另一个没有spark环境变量的环

温馨提示:如果使用电脑查看图片不清晰,可以使用手机打开文章单击文中的图片放大查看高清原图。
Fayson的github
https://github.com/fayson/cdhproject
提示:代码块部分可以左右滑动查看噢

1 文档编写目的

Fayson在前面的文章《0483-如何指定PySpark的Python运行环境》介绍了使用Spark2-submit提交时指定Python的运行环境。也有部分用户需要在PySpark代码中指定Python的运行环境,那本篇文章Fayson主要介绍如何在代码中指定PySpark的Python运行环境。

  • 测试环境

1.RedHat7.2

2.CM和CDH版本为5.15.0

3.Python2.7.5和Python3.6

2 准备Python环境

在这里Fayson准备两个环境Python2和Python3,如下为环境准备步骤:

1.在Anaconda官网下载Python2和Python3的两个安装包,安装过程Fayson这里就不在介绍了

Anaconda3-5.2.0-Linux-x86_64.sh和Anaconda2-5.3.1-Linux-x86_64.sh两个安装包

2.将Python2和Pythonn3两个环境打包,进入到Python2和Python3的安装目录下

使用zip命令将两个环境分别打包

[root@cdh05 anaconda2]# cd /opt/cloudera/anaconda2
[root@cdh05 anaconda2]# zip -r /data/disk1/anaconda2.zip ./*
  • 1
  • 2

[root@cdh05 anaconda3]# cd /opt/cloudera/anaconda3
[root@cdh05 anaconda3]# zip -r /data/disk1/anaconda3.zip ./*
  • 1
  • 2

注意:这里是进入到Python的安装目录下进行压缩的,没有带上Python的父目录

3.将准备好的Python2和Python3上传至HDFS

[root@cdh05 disk1]# hadoop fs -put anaconda2.zip /tmp
[root@cdh05 disk1]# hadoop fs -put anaconda3.zip /tmp
[root@cdh05 disk1]# hadoop fs -ls /tmp/anaconda*
  • 1
  • 2
  • 3

完成以上步骤则准备好了PySpark的运行环境,接下来在提交代码时指定运行环境。

3 准备PySpark示例作业

这里以一个简单的PI PySpark代码来做为示例讲解,该示例代码与前一篇文章有些区别增加了指定python运行环境的事例代码,示例代码如下:

from __future__ import print_function
import sys
from random import random
from operator import add
from pyspark.sql import SparkSession

spark = SparkSession \
    .builder \
    .appName("PythonPi") \
    .config("spark.pyspark.python", "python/bin/python3.6") \
    .config("spark.pyspark.driver.python", "python3.6") \
    .config("spark.yarn.dist.archives", "hdfs://nameservice1/tmp/anaconda3.zip#python") \
    .config("spark.driver.memory", "2g") \
    .config("spark.executor.memory", "4g") \
    .getOrCreate()
#.config("spark.pyspark.driver.python", "/opt/cloudera/anaconda2/bin/python2.7")\

partitions = int(sys.argv[1]) if len(sys.argv) > 1 else 2
n = 100000 * partitions

def f(_):
    x = random() * 2 - 1
    y = random() * 2 - 1
    return 1 if x ** 2 + y ** 2 < 1 else 0

count = spark.sparkContext.parallelize(range(1, n + 1), partitions).map(f).reduce(add)
print("Pi is roughly %f" % (4.0 * count / n))

spark.stop()
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29

4 示例运行

在运行前我们先执行加载Spark和pyspark的环境变量,否则执行python代码时会找不到“SparkSession”模块的错误,运行python代码则需要确保该节点有Spark2 Gateway客户端配置。

1.在命令执行如下命令加载Spark和python环境变量

export SPARK_HOME=/opt/cloudera/parcels/SPARK2/lib/spark2
export PYTHONPATH=$SPARK_HOME/python:$SPARK_HOME/python/lib/py4j-0.10.4-src.zip:$SPARK_HOME/python/lib/pyspark.zip:$PYTHONPATH
  • 1
  • 2

2.在命令行使用python命令运行pi_test.py代码

[root@cdh05 ~]# python pi_test.py 
  • 1

作业提交成功

3.作业执行成功

4.查看作业的Python环境

5 总结

使用python命令执行PySpark代码时需要确保当前执行代码的节点上有Spark的环境变量。

在运行代码前需要指定SPARK_HOME和PYTHONPATH的环境变量,将Spark编译的Python环境加载到环境变量中。

在将PySpark的运行环境Python2和Python3打包放在HDFS后,作业启动的过程会比以往慢一些,需要从HDFS获取Python环境。

提示:代码块部分可以左右滑动查看噢
为天地立心,为生民立命,为往圣继绝学,为万世开太平。

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/Gausst松鼠会/article/detail/635050
推荐阅读
相关标签
  

闽ICP备14008679号