linux 下spark的下载安装及问题解决_spark下载安装很慢怎么办

• 安装包下载
  访问网址 http://spark.apache.org/downloads.html
  
  点击红色方框区域直接下载，得到对应的压缩文件
• 解压缩并进入目录

tar -xf spark-2.2.0-bin-hadoop2.7.tgz
cd spark-2.2.0-bin-hadoop2.7/
1
2

• 尝试打开shell，出现错误
  
  原因是未安装java的jdk,而spark 是在java的虚拟机JVM上面运行的
  
  我们查看Java的版本，系统确实提示未查到java的相关内容
• 按照提示安装jdk
  
  却出现了错误，这是文件锁定错误

E: Could not get lock /var/lib/dpkg/lock - open (11: Resource temporarily unavailable)
E:unable to lock the administration directory (/var/lib/dpkg/)，is another process using it
1
2

• 解决文件锁定错误问题
  1.使用 ps 和 grep 命令并用管道组合来得到含有 apt的进程
  
  2.根据上一步得到的进程号，将进程杀掉（命令中的9是 SIGKILL 的信号数，-9 换成 -SIGKILL 也可以）
  
  3.删除锁定文件：
  （锁定文件的作用：锁定的文件会阻止 Linux 系统中某些文件或者数据的访问，一旦你运行了 apt-get 或者 apt 命令，锁定文件将会创建/var/lib/apt/lists/、/var/lib/dpkg/、/var/cache/apt/archives/ 中。
  这有助于运行中的 apt-get 或者 apt 进程能够避免被其它需要使用相同文件的用户或者系统进程所打断。当该进程执行完毕后，锁定文件将会删除。）
  
  4.强制重新配置软件包
  
• 再次安装jdk
  
• 安装成功
  
• 重新尝试打开shell，但又出现了错误
  

xxxxxx@ubuntu:~/spark-2.2.0-bin-hadoop2.7$ ./bin/pyspark
Error: A JNI error has occurred, please check your installation and try again
Exception in thread "main" java.lang.ArrayIndexOutOfBoundsException: 64
    at java.util.jar.JarFile.match(java.base@9-internal/JarFile.java:983)
    at java.util.jar.JarFile.checkForSpecialAttributes(java.base@9-internal/JarFile.java:1017)
……
1
2
3
4
5
6
7

• 问题解决
  查阅了相关资料，大概是说刚刚安装的包不完整，最好重新安装oracle的jdk官方包
  使用以下一组命令安装jre和jdk，并完成初始化(最后一步操作会自动配置环境变量)

sudo apt-get install default-jdk 
sudo add-apt-repository ppa:webupd8team/java
sudo apt-get update
sudo apt-get install oracle-java8-installer
sudo apt-get install oracle-java8-set-default
1
2
3
4
5

• 成功进入shell
  

参考：
http://blog.csdn.net/i973635025/article/details/77863129
https://linux.cn/article-8040-1.html