我家自动化

这个屌丝很懒，什么也没留下！

热门标签

大数据Hadoop之——部署hadoop+hive+Mysql环境（window11_hadoopwindows环境变量配置

作者：我家自动化 | 2024-05-27 22:54:34

踩

hadoopwindows环境变量配置

先自我介绍一下，小编浙江大学毕业，去过华为、字节跳动等大厂，目前阿里P7

深知大多数程序员，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年最新大数据全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

如果你需要这些资料，可以添加V获取：vip204888 （备注大数据）

正文

一、安装JDK8

1）JDK下载地址

2）设置环境变量

二、Hadoop安装（window10环境）

1）下载Hadoop3.1.3

2）Hadoop配置环境变量

4）修改Hadoop配置文件

1、core-site.xml文件：添加以下配置

2、hdfs-site.xml文件：添加以下配置，路径改成自己的安装路径

3、mapred-site.xml文件：添加以下配置

4、yarn-site.xml文件：添加以下配置

5）替换文件

1、替换bin目录下文件（winutils）

6、通过mysql客户端登录验证并修改root密码

8、重置mysql root密码（命令行都要以管理员运行）

4）在hadoop上创建hdfs目录（后面配置文件会用到）

5）修改Hive 配置文件

1、hive-site.xml 文件：配置文件内容如下

2、hive-env.sh 文件：配置文件内容如下

6）替换hvie中的bin目录

7）下载mysql-connector-java-*.jar

8）创建Hive 初始化依赖的数据库hive,注意编码格式：latin1

一、安装JDK8

【温馨提示】对应后面安装的hadoop和hive版本，这里使用jdk8，这里不要用其他jdk了，可能会出现一些其他问题。

1）JDK下载地址

Java Downloads | Oracle

按正常下载是需要先登录的，这里提供一个不用登录下载的方法

复制的连接如下：https://www.oracle.com/webapps/redirect/signon?nexturl=https://download.oracle.com/otn/java/jdk/8u321-b07/df5ad55fdd604472a86a45a217032c7d/jdk-8u321-windows-x64.exe

获取下载地址：使用复制的连接后半部分，将otn换成otn-pub就可以直接下载了

https://download.oracle.com/otn-pub/java/jdk/8u321-b07/df5ad55fdd604472a86a45a217032c7d/jdk-8u321-windows-x64.exe

下载完后就是傻瓜式安装了

2）设置环境变量

3）验证

$ java -version
1

二、Hadoop安装（window10环境）

1）下载Hadoop3.1.3

官网下载：https://hadoop.apache.org/release/3.1.3.html
下载各种版本地址入口：Apache Hadoop

下载地址：https://archive.apache.org/dist/hadoop/common/hadoop-3.1.3/hadoop-3.1.3.tar.gz

下载后安装到哪里，解压到哪里（安装路径不要有空格和中文）

2）Hadoop配置环境变量

HADOOP_HOME

注意：

如果 jdk 默认安装C:\Program Files\Java\，则需要修改 %HADOOP_HOME%/etc/hadoop/hadoop-env.cmd 文件，

例如

将 set JAVA_HOME=C:\Program Files\Java\jdk1.8.0_191

改为 set JAVA_HOME=C:\PROGRA~1\Java\jdk1.8.0_191

或者直接改环境变量JAVA_HOME= 从C:\Program Files\Java\ 改成C:\PROGRA~1\Java\

验证

$ hadoop --version
1

在data文件夹下面再创建namenode和datanode目录

4）修改Hadoop配置文件

配置文件目录：$HADOOP_HOME\etc\hadoop

1、core-site.xml文件：添加以下配置

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>  
</configuration>
1
2
3
4
5
6

2、hdfs-site.xml文件：添加以下配置，路径改成自己的安装路径

<configuration>
	<property>
		<name>dfs.replication</name>
		<value>1</value>
	</property>
	<property>
		<name>dfs.namenode.name.dir</name>    
		<value>/D:/bigdata/hadoop/hadoop-3.1.3/data/namenode</value>    
	</property>
	<property>
		<name>dfs.datanode.data.dir</name>    
		<value>/D:/bigdata/hadoop/hadoop-3.1.3/data/datanode</value>  
	</property>
</configuration>

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15

3、mapred-site.xml文件：添加以下配置

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>
1
2
3
4
5
6

4、yarn-site.xml文件：添加以下配置

<configuration>
<!-- Site specific YARN configuration properties -->

    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
    <property>
        <name>yarn.nodemanager.resource.memory-mb</name>
        <value>1024</value>
    </property>
    <property>
        <name>yarn.nodemanager.resource.cpu-vcores</name>
        <value>1</value>
    </property>

</configuration>
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21

5）替换文件

1、替换bin目录下文件（winutils）

打开winutils文件，把里面的bin文件复制到hadoop的安装路径，替换掉原来的bin文件，替换过程如下：

下载：apache-hadoop-3.1.0-winutils
也可以去GitHub上下载其它对应版本

2、按照路径找到图中该文件

把它复制到上一级目录，即

6）格式化节点

$ hdfs namenode -format
1

7）运行

【温馨提示】回到hadoop安装bin目录下，右击以管理员的身份运行start-all.cmd文件，要不然会报权限问题

出现下面四个窗口就是成功了，注意每个窗口标题的后面的名称，比如yarn nodemanager,如果没有出现则是失败

8）验证

hdfs web 地址：http://localhost:9870/

yarn web 地址：http://localhost:8088/

到此为止window版本的hadoop就安装成功了

三、安装mysql8.x

上述的 hive初始化是在 mysql安装完成后实现的。

1、下载mysql

官网下载：MySQL :: Download MySQL Community Server

2、配置mysql环境变量

3、初始化mysql

【温馨提示】右键以管理员身份运行cmd，否则在安装时会报权限的错，会导致安装失败的情况。

# 切换到mysql bin目录下执行
# cd D:\software\window-hadoop-hive\mysql\mysql-8.0.28-winx64\bin
# d:
$ mysqld --initialize --console

1
2
3
4
5

4、安装mysql服务

$ mysqld --install mysql
1

5、通过命令启动服务

$ net start mysql
1

6、通过mysql客户端登录验证并修改root密码

$ mysql -uroot -p
#输入上面初始化的密码
1
2

8、重置mysql root密码（命令行都要以管理员运行）

停止mysql服务

$ net stop mysql
1

启动MySQL服务的时候跳过权限表认证

$ mysqld --console --skip-grant-tables --shared-memory
1

在新开的命令行中执行mysql

【温馨提示】由于上面的命令行被mysql的服务给占用，我们得重新开启一个新的命令行

$ mysql
1

将root用户的密码清空

$ update user set authentication_string = ''  where user='root' ;    
1

quit 退出，然后在之前的命令行将我们开启的mysql服务停止掉（Ctrl+C或者关闭命令行），然后执行net start mysql 重新启动mysql服务

$ net  start mysql
1

在我们之后开启的命令行中输入mysql -uroot -p 然后按enter键，输入密码继续按enter键（这里密码已经被清空）

$ mysql -uroot -p
1

修改密码

ALTER USER 'root'@'localhost' IDENTIFIED BY '123456';
FLUSH PRIVILEGES;
1
2

【问题】如果mysql工具出现错误：

Authentication plugin ‘caching_sha2_password’ cannot be loaded

【原因】

很多用户在使用Navicat Premium 12连接MySQL数据库时会出现Authentication plugin ‘caching_sha2_password’ cannot be loaded的错误。

出现这个原因是mysql8 之前的版本中加密规则是mysql_native_password,而在mysql8之后,加密规则是caching_sha2_password, 解决问题方法有两种,一种是升级navicat驱动,一种是把mysql用户登录密码加密规则还原成mysql_native_password.

【解决】

管理员权限运行命令

ALTER USER ‘root’@‘localhost’ IDENTIFIED BY ‘123456’;

ALTER USER ‘root’@‘localhost’ IDENTIFIED WITH mysql_native_password BY ‘123456’;

FLUSH PRIVILEGES;

退出后，使用新密码登录

$ mysql -uroot -p
1

四、Hive安装（window10环境）

1）下载Hive

各版本下载地址：Index of /dist/hive

这选择最新版本

hive 3.1.2版本下载地址：http://archive.apache.org/dist/hive/hive-3.1.2/apache-hive-3.1.2-bin.tar.gz

2）Hive配置环境变量

3）新建本地目录（后面配置文件会用到）

4）在hadoop上创建hdfs目录（后面配置文件会用到）

$ hadoop fs  -mkdir       /tmp
$ hadoop fs  -mkdir       /user/
$ hadoop fs  -mkdir       /user/hive/
$ hadoop fs  -mkdir       /user/hive/warehouse 
$ hadoop fs  -chmod g+w   /tmp
$ hadoop fs  -chmod g+w   /user/hive/warehouse



**网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。**

**需要这份系统化的资料的朋友，可以添加V获取：vip204888 （备注大数据）**
![img](https://img-blog.csdnimg.cn/img_convert/81d9944374df0221d788e4be773b0f61.png)

**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**

cn/bc18a42b6bd44771b4c2dbe98063c6ac.png)


hive 3.1.2版本下载地址：http://archive.apache.org/dist/hive/hive-3.1.2/apache-hive-3.1.2-bin.tar.gz


#### 2）Hive配置环境变量


####  3）新建本地目录（后面配置文件会用到）


####  4）在hadoop上创建hdfs目录（后面配置文件会用到）



1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32

$ hadoop fs -mkdir /tmp
$ hadoop fs -mkdir /user/
$ hadoop fs -mkdir /user/hive/
$ hadoop fs -mkdir /user/hive/warehouse
$ hadoop fs -chmod g+w /tmp
$ hadoop fs -chmod g+w /user/hive/warehouse

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以添加V获取：vip204888 （备注大数据）
[外链图片转存中…(img-7gwPMnRG-1713181755071)]

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/我家自动化/article/detail/634449

大数据Hadoop之——部署hadoop+hive+Mysql环境（window11_hadoopwindows环境变量配置

正文

一、安装JDK8

1）JDK下载地址

2）设置环境变量

二、Hadoop安装（window10环境）

1）下载Hadoop3.1.3

2）Hadoop配置环境变量

3）在hadoop解压目录下创建相关目录

4）修改Hadoop配置文件

1、core-site.xml文件：添加以下配置

2、hdfs-site.xml文件：添加以下配置，路径改成自己的安装路径

3、mapred-site.xml文件：添加以下配置

4、yarn-site.xml文件：添加以下配置

5）替换文件

1、替换bin目录下文件（winutils）

2、按照路径找到图中该文件

6）格式化节点

7）运行

8）验证

三、安装mysql8.x

1、下载mysql

2、配置mysql环境变量

3、初始化mysql

4、安装mysql服务

5、通过命令启动服务

6、通过mysql客户端登录验证并修改root密码

8、重置mysql root密码（命令行都要以管理员运行 ）

管理员权限运行命令

四、Hive安装（window10环境）

1）下载Hive

2）Hive配置环境变量

3）新建本地目录（后面配置文件会用到）

4）在hadoop上创建hdfs目录（后面配置文件会用到）

8、重置mysql root密码（命令行都要以管理员运行）