大数据Hadoop之——部署hadoop+hive+Mysql环境（window11_windows11配置hadoop

例如

将    set JAVA_HOME=C:\Program Files\Java\jdk1.8.0_191

改为 set JAVA_HOME=C:\PROGRA~1\Java\jdk1.8.0_191

或者直接改环境变量JAVA_HOME= 从C:\Program Files\Java\ 改成C:\PROGRA~1\Java\

验证

$ hadoop --version
1

3）在hadoop解压目录下创建相关目录

• 创建data和tmp目录

• 在data文件夹下面再创建namenode和datanode目录

4）修改Hadoop配置文件

• 配置文件目录：$HADOOP_HOME\etc\hadoop

1、core-site.xml文件：添加以下配置

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>  
</configuration>
1
2
3
4
5
6

2、hdfs-site.xml文件：添加以下配置，路径改成自己的安装路径

<configuration>
	<property>
		<name>dfs.replication</name>
		<value>1</value>
	</property>
	<property>
		<name>dfs.namenode.name.dir</name>    
		<value>/D:/bigdata/hadoop/hadoop-3.1.3/data/namenode</value>    
	</property>
	<property>
		<name>dfs.datanode.data.dir</name>    
		<value>/D:/bigdata/hadoop/hadoop-3.1.3/data/datanode</value>  
	</property>
</configuration>

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15

3、mapred-site.xml文件：添加以下配置

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>
1
2
3
4
5
6

4、yarn-site.xml文件：添加以下配置

<configuration>
<!-- Site specific YARN configuration properties -->

    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
    <property>
        <name>yarn.nodemanager.resource.memory-mb</name>
        <value>1024</value>
    </property>
    <property>
        <name>yarn.nodemanager.resource.cpu-vcores</name>
        <value>1</value>
    </property>

</configuration>
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21

5）替换文件

1、替换bin目录下文件（winutils）

打开winutils文件，把里面的bin文件复制到hadoop的安装路径，替换掉原来的bin文件，替换过程如下：

下载：apache-hadoop-3.1.0-winutils
也可以去GitHub上下载其它对应版本

2、按照路径找到图中该文件

把它复制到上一级目录，即

6）格式化节点

$ hdfs namenode -format
1

7）运行