PySpark安装

准备工作

配置Spark Local模式

点击查看Spark Local模式配置教程

一、安装Anaconda

一、下载Anaconda

点击官方下载

二、上传Anaconda

cd /export/software
1

rz 上传
1

三、安装Anaconda

bash Anaconda3-2021.05-Linux-x86_64.sh
1

不断输入空格, 直至出现以下解压, 然后输入yes

此时, anaconda需要下载相关的依赖包, 时间比较长, 耐心等待即可…

四、配置环境变量

vim /etc/profile
1

# 增加如下配置
export ANACONDA_HOME=/root/anaconda3/bin
export PATH=$PATH:$ANACONDA_HOME/bin
1
2
3

source /etc/profile
1

sudo vim ~/.bashrc
1

# 添加如下内容:
export PATH=~/anaconda3/bin:$PATH
conda deactivate
1
2
3

五、测试

python
1

二、安装PySpark

一、创建虚拟环境

conda create -n pyspark_env python=3.8
1

二、查看虚拟环境

conda env list
1

三、激活虚拟环境

conda activate pyspark_env
1

四、安装PySpark

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple pyspark 
1

五、测试

cd /export/server/spark/bin
./pyspark --master local[*]
1
2