anaconda中pyspark_自学大数据——9 Anaconda安装与使用pyspark

作者：weixin_40725706 | 2024-06-28 18:20:54

踩

anaconda包含pyspark吗

首先从Anaconda官网上下载Anaconda。

一、解压安装包

sudo bash Anaconda3-2020.07-Linux-x86_64.sh

chown -R hadoop:hadoop /opt/anaconda/

vi /etc/profile

export ANACONDA_HOME=/opt/anaconda

export PATH=$PATH:$ANACONDA_HOME/bin:

source /etc/profile

二、配置Jupyter Notebook远程访问添加anaconda清华源

conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/

conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/

conda config --set show_channel_urls yes

conda config --show

创建虚拟环境

conda create -n your_env_name python=X.X

conda activate ml

conda install jupyter

conda install pyspark

pip install modin spark-sklearn modin[dask] -i https://pypi.tuna.tsinghua.edu.cn/simple

配置Jupyter Notebook

jupyter notebook

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/weixin_40725706/article/detail/766889