SPARK入门-下载与运行

spark下载

地址：http://spark.apache.org/downloads.html

其中package type选项我选的是Pre-built for Hadoop 2.4 and later

下载点击如下图中的红框链接，下载下来以后直接解压即可

运行准备--jdk和python

我用的是红帽5.4系统，jdk1.6，python2.4，结果就悲剧了，启动显示报“无法找到主类”的错误，这是因为jdk版本低

后又报python语法错误，python的版本也低。

所以更新了jdk到1.7，python更新到2.7 就ok了，我在官网下的jdk后缀是gz，手动改成tar.gz就可以正常解压了

这里说一下python更新版本的方法：

首先下载python安装包，地址如下：

https://www.python.org/download/releases/2.7.3/

选择红框内连接进行下载：

下载后，先解压，然后按照如下步骤操作：

1） 创建一个新路径：mkdir /usr/local/python27

2 )   进入你的解压目录（我直接解压到了python27），也就是在python27目录下：cd Python-2.7.3

3 ）依次执行如下命令：

 ./configure --prefix=/usr/local/python27
make
make install 

4） 此时没有覆盖老版本，再将原来/usr/bin/python链接改为别的名字

mv /usr/bin/python /usr/bin/python_old 

ln -s /usr/local/python27/bin/python2 /usr/bin/python

5） ok，输入python，回车，会发现python的版本已经是2.7.3

启动spark

进入spark安装目录下的bin目录执行：./pyspark （这是用python方式，还可以用scala），经过一番折腾，终于看到那个“spark”图形了