在window11系统下安装和配置Hadoop并在idea上连接HDFS的过程中可能出现的问题以及解决办法_hdfs在idea

将hadoop下载解压到window系统下

在硬盘力创建一个文件夹专门存放Hadoop

接下就是配置环境变量（win11系统）

在桌面的此电脑中鼠标右击，找到属性。

点击

找到环境变量

在系统变量中新建一个变量，将下面的变量名写入HADOOP_HOME

HADOOP_HOME

Hadoop文件地址就是下载解压后的文件地址

然后点击进入path

在path添加

%HADOOP_HOME%\bin

以及

%HADOOP_HOME%\sbin

然后win+R在命令行cmd 里面用 hadoop version 查看Hadoop是否安装成功。这里需要注意的是如果jdk安装在文件路径里有空格的地方，如C:\Program Files，就会报错。像下面这样子。解决办法就是把jdk放在别的没有空格的路径里，比如直接放在C盘 C:\Java\jdk-17

C:\Users\g'xing>hadoop version
系统找不到指定的路径。
Error: JAVA_HOME is incorrectly set.
       Please update E:\hadoop\hadoop-2.9.2\hadoop-2.9.2\etc\hadoop\hadoop-env.cmd
'-Xmx512m' 不是内部或外部命令，也不是可运行的程序
或批处理文件。

这样子就是安装成功。

下一步，将网盘里bin文件hadoop.dll,winutils.exe替换自己下载hadoop安装目录下bin目录的文件

找到对应版本的bin文件, 直接全部覆盖到原目录上，下面各个版本的bin文件

链接：https://pan.baidu.com/s/1W6enylh0sb6fVspx5yqEsw?pwd=qn44 
提取码：qn44

在idea上连接hdfs，即可完成。如果还在idea上还是无法连接HDFS，可以尝试上传一个测试文件。

在CentOS 7上使用Hadoop上传测试文件，您可以按照以下步骤进行操作：

1. 确保您已经安装了Hadoop，并且已经正确配置了Hadoop集群。

2. 在CentOS 7上创建一个测试文件。您可以使用以下命令创建一个名为"testfile.txt"的空文本文件：

hdfs dfs -ls /

1. 将测试文件上传到Hadoop分布式文件系统（HDFS）。使用以下命令将文件从本地系统复制到HDFS的根目录（"/"）中：

hdfs dfs -copyFromLocal testfile.txt /

该命令将"testfile.txt"文件复制到HDFS的根目录中。

4. 验证文件是否成功上传到HDFS。您可以使用以下命令查看HDFS根目录中的文件列表：

hdfs dfs -ls /

如果"testfile.txt"文件存在于列表中，则表示上传成功。