Deepin（Linux）安装Hadoop伪分布环境（集成Hbase、Hive、MySQL、Spark、Scala）_deepin安装hadoop

安装版本

jdk8、Hadoop3.2.2、Hbase2.4.17、Hive3.1.2、MySQL8.0.24、Spark3.1.1、Scala2.13.5
（版本不对会报错，我下面均使用压缩包来安装对应版本）

---

下载所有环境

Hadoop3.2.2下载 bfsu这个镜像下载最快

Hbase2.4.17下载 选择bin.tar.gz

Hive3.1.2下载 选择bin.tar.gz

Spark下载地址记得第2栏选择Hadoop版本，本教程是3.2

Scala2.13.5下载地址 进去官网后拉到最底部，选择第一个

MySQL下载地址
这里一定要选择这个Linux Generic

下载前面这两个，64位和32位根据自己电脑情况来选

---

开启Deepin或Ubuntu（我用的是虚拟机）

我用的是Deepin20（Debian10 Buster库）好看吧， 还有“QQ2008”

---

安装Hadoop

1、安装和配置ssh

首先在终端输入sudo apt-get update来更新一下apt的包列表（apt代表赋予管理员权限，建议每句命令都加上）

输入sudo apt-get install openssh-server回车，再输入sudo apt install openssh-client回车（Deepin可能已经预装了ssh，不过再输入一下确认一下也没什么）
Ubuntu安装是如下界面

Deepin已经安装过是如下界面

配置ssh无密码自动登录（很重要）

ssh localhost              #登陆SSH，第一次登陆输入yes
1

exit                       #退出登录的ssh localhost
1

cd ~/.ssh/                 #如果没法进入该目录，执行一次ssh localhost
1

ssh-keygen -t rsa
1

输入完 ssh-keygen -t rsa 语句后，需要连续敲击三次回车

$ cat ./id_rsa.pub >> ./authorized_keys #加入授权
1

$ ssh localhost     #此时已不需密码即可登录localhost，并可见下图的Welcome
1

2、安装和配置Java（一定要安装Java8版本，不然Hive、Spark和Scala会报错）

输入apt-cache search openjdk ,这是查看可以安装的Java版本有哪些，查询结果显示如下，我们可以看到，又openjdk-8-jdk

接着，我们输入下面命令回车，等待下载就安装成功了

sudo apt-get install openjdk-8-jdk
1

无论是Deepin还是Ubuntu，apt安装的Java都存在系统盘的usr/lib/jvm里

最后配置Java的环境变量
我们在终端中输入vim ~/.bashrc,会进入一个文档，也许会出现这个页面，按一下键盘上的E就能进入文档了

vim ~/.bashrc
1

进入文档后是这样的

我这边配置了本教程所有的环境变量，大家之间粘贴进去，后面就不用再配置了

注意！！！vim的操作和普通文本编辑器不同！！！
vim进去以后，先按一下键盘上的A，进入编辑模式，然后再右键，点粘贴，或者是CTRL+SHIFT+V粘贴，粘贴上去以后，按一下键盘上的“ESC”键，然后按“SHIFT+ZZ”就保存并退出到终端了

export JAVA_HOME=/usr/lib/jvm/jdk8
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib:${HADOOP_HOME}/bin:$HIVE_HOME/bin:$CALSSPATH
export SCALA_HOME=/usr/local/scala
export SPARK_HOME=/usr/local/spark
export HADOOP_HOME=/usr/local/hadoop
export HIVE_HOME=/usr/local/hive
export HBASE_HOME=/usr/local/hbase
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HBASE_HOME/bin:${JAVA_HOME}/bin:$JRE_HOME/bin:$HIVE_HOME/bin:$SCALA_HOME/bin:$SPARK_HOME/bin:$SPARK_HOME/sbin
1
2
3
4
5
6
7
8
9

然后输入source ~/.bashrc，这个意思是使配置的环境变量立即生效

检查Java版本，安装并配置成功

3、安装Hadoop

我们把下载好的Hadoop安装包放在“下载”文件夹里，Deepin下载的默认路径就是这个

在这个目录下右键选择“在终端中打开”

在打开的终端中输入下方命令，将下载的Hadoop压缩包解压到usr/local/hadoop-3.2.2文件夹下，hadoop-3.2.2.tar.gz是下载的文件名

sudo tar -zxvf  hadoop-3.2.2.tar.gz -C /usr/local
1

然后将hadoop-3.2.2重命名为hadoop，依次执行下列命令

cd /usr/local
1

sudo mv ./hadoop-3.2.2 ./hadoop
1

查看文件夹，已经命名为hadoop

你们的hadoop文件夹上可能会带有一个黄色的锁

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/Li_阴宅/article/detail/785771