linux安装pyspark_pyspark学习笔记——安装篇

作者：神奇cpp | 2024-06-28 18:13:48

踩

pyspark does not support any application options.

家里用的单机hadoop，公式用的集群hadoop，此安装基于家里的笔记本。

所以java，hadoop都已经是可以用的。

1。scala语言

spark是以scala语言开发的，所以必须安装scala。

去官网下载tgz包。我这里选择的是2.11.6版本。（windows可以复制下载链接到迅雷，这样会比较快）

然后把tgz包放到你的linux用户目录下。

然后解压,生成不带tgz后缀的文件

tar xvf scala-2.11.6.tgz

把该文件放到一个地方，我这里是放到hadoop相同的local目录下

sudo mv scala-2.11.6 /usr/local/scala

编辑环境变量

vi ~/.bashrc

写入下列保存并source 使其生效


export SCALA_HOME=/usr/local/scala
export PATH=$PATH:$SCALA_HOME/bin

然后在shell里运行scala就能进入scala编译模式

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/神奇cpp/article/detail/766854