安装pyspark过程，超级easy_pyspark 安装

1.cmd进入
java -version
显示如下即可
2.输入命令
python -m pip install setuptools -i https://pypi.douban.com/simple
通过镜像下载速度快
显示如下即可

3.验证
进入python环境

from pyspark.sql import SparkSession
from pyspark.sql.functions import col

# 初始化
spark = SparkSession.builder.master("local[*]").appName("FiratApp").getOrCreate()

# 下面两句都可以获取0到9的数据
# data = spark.createDataFrame(map(lambda x: (x,), range(10)), ["id"])
data = spark.range(0, 10).select(col("id").cast("double"))

# 求和
data.agg({'id': 'sum'}).show()

# 关闭
spark.stop()
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15

显示如下即可

（1）若需要升级pip
按照提示代码无法升级成功，可如下：
python -m pip install --upgrade pip -i https://pypi.douban.com/simple --user
注意： 添加–user选项赋予权限
不然可能出现如下：

（2）解决安装模块报错“ModuleNotFoundError: No module named ‘setuptools’”

直接python -m pip install setuptools可能显示time out，故通过镜像安装
python -m pip install setuptools -i https://pypi.douban.com/simple
显示如下：