搭建单机版伪分布式Hadoop+Scala+spark

目录

一.OpenJDK搭建

1.卸载删除自身openjdk

2.安装JDK

3.配置Java变量

4.检测JAVA是否可用

二.Hadoop搭建

1.解压安装

2.配置Hadoop变量

1.位置：/etc/profile

2.位置：hadoop-env.sh 

3.位置：core-site.xml

4.位置：hdfs-site.xml

5.位置：mapred-site.xml.template

6.位置：yarn-site.xml

3.访问50070

三.spark搭建

1.解压安装

2.配置spark环境

1.位置：spark-env.sh.template

2.位置：/etc/profile

四.scala搭建

1.解压安装

2.配置Scala环境

3.Scala

---

一.OpenJDK搭建

1.卸载删除自身openjdk

创建用户和删除自身OpenJDK

2.安装JDK

[root@localhost software]# tar -zxvf jdk-8u152-linux-x64.tar.gz -C /usr/local/src/

## 解压指定到  /usr/local/src

3.配置Java变量

配置文件位置： /etc/profile

末行添加如下两行内容（版本号相对应同上） source 使设置生效

4.检测JAVA是否可用

二.Hadoop搭建

1.解压安装

##将安装包解压到/usr/local/src/目录下

[root@localhost software]# tar -zxvf hadoop-2.7.1.tar.gz -C /usr/local/src/

2.配置Hadoop变量

1.位置：/etc/profile

添加如下内容 并使环境生效

2.位置：hadoop-env.sh 

修改如下 /usr/local/src/hadoop-2.7.1/etc/hadoop 中的 hadoop-env.sh 

export JAVA_HOME=/usr/local/src/jdk1.8.0_152

3.位置：core-site.xml

4.位置：hdfs-site.xml

5.位置：mapred-site.xml.template

6.位置：yarn-site.xml

3.访问50070

三.spark搭建

1.解压安装

 tar -zxvf spark-3.2.1-bin-hadoop2.7.tgz -C /usr/local/src/

2.配置spark环境

1.位置：spark-env.sh.template

/usr/local/src/spark-3.2.1-bin-hadoop2.7/conf 中的spark-env.sh.template

更名 ___[root@localhost conf]# cp spark-env.sh.template spark-env.sh

2.位置：/etc/profile

添加如下

四.scala搭建

1.解压安装

[root@localhost src]# tar -zxvf scala-2.11.8.tgz -C /usr/local/src/

2.配置Scala环境

/etc/profile source /etc/profile 生效

3.Scala