赞
踩
目录
在https://www.anaconda.com/download/success中下载安装包并上传到linux服务器上
我的对应的是python3.12
使用命令
sh ./Anaconda3-2024.06-1-Linux-x86_64.sh
输入yes后就安装完成了
安装完成后,,退出SecureCRT重新进来,看到开头有Base表面安装好了
base是默认的虚拟环境
在/root下新建文件.bashrc,加入以下内容
- channels:
- - defaults
- show_channel_urls: true
- default_channels:
- - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main
- - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/r
- - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/msys2
- custom_channels:
- conda-forge: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
- msys2: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
- bioconda: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
- menpo: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
- pytorch: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
- simpleitk: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
在https://spark.apache.org/downloads.html中下载spark并把压缩包上传到linux服务器上。
我将其放在/export/server目录下
使用命令
tar -zxvf spark-3.5.2-bin-hadoop3.tgz -C /export/server
将spark目录解压到/export/server目录下
配置Spark由如下5个环境变量需要设置
PYSPARK_PYTHON在Anaconda目录下的/bin/python3.12
这5个环境变量 都需要配置在: /etc/profile
中
PYSPARK_PYTHON和 JAVA_HOME 需要同样配置在: /root/.bashrc
中
转到$SPARK_HOME/bin目录,输入./pyspark,当出现一下界面说明启动成功。
执行一个pyspark代码体验一下
我们可以在标记的地方看到一个地址,这个地址可以查看Driver的运行情况。
输入地址可以看到这样的界面
在这里可以看到里面记录了一个任务就是刚刚进行数组元素加一的任务。
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。