pyspark环境配置_os.environ['pyspark_python']

第一：下载所有hadoop二进制包

第二：下载spark 包

第三：下载java

第四：下载anancode

# 创建虚拟环境 pyspark, 基于Python 3.8
conda create -n pyspark python=3.8

# 切换到虚拟环境内
conda activate pyspark

# 在虚拟环境内安装包
pip install pyhive pyspark jieba -i https://pypi.tuna.tsinghua.edu.cn/simple 

通过pycharm写代码：

# coding:utf8
from pyspark import SparkConf, SparkContext
import os
os.environ['JAVA_HOME'] = r"C:\Java\jdk1.8.0_201"
os.environ['SPARK_HOME'] = r"D:\spark-3.1.2-bin-hadoop2.7"
os.environ['PYSPARK_PYTHON'] = r"D:\anaconda3\envs\pyspark\python.exe"
os.environ['HADOOP_HOME']=r"D:\hadoop-2.7.7"
if __name__ == '__main__':
    conf = SparkConf().setAppName("helloword")
    # 通过SparkConf对象构建SparkContext对象
    sc = SparkContext(conf=conf)
 
 
    file_rdd = sc.textFile("./myfile.text")
 
 
    words_rdd = file_rdd.flatMap(lambda line: line.split(" "))
 
    # 将单词转换为元组对象, key是单词, value是数字1
    words_with_one_rdd = words_rdd.map(lambda x: (x, 1))
 
    # 将元组的value 按照key来分组, 对所有的value执行聚合操作(相加)
    result_rdd = words_with_one_rdd.reduceByKey(lambda a, b: a + b)
 
    # 通过collect方法收集RDD的数据打印输出结果
    print(result_rdd.collect())