win11使用idea连接linux虚拟机中Hadoop伪分布式配置教程_linux hadoop连接idea

一 前言

预先准备

1.已在虚拟机上装了Hadoop全分布式集群

2.IDEA ultimate 2023.3.5的下载：因为要使用big data tools插件（idea的社区版不可以使用）

3.winutils.exe：链接：winutils

4.hadoop.dll: 链接：hadoop

5.xftp的下载连接：xftp

二 准备工作

  2.1linux中hadoop的伪分布式教程

      请查看该博主的文章RYY-CR7https://blog.csdn.net/qq_33980756/article/details/130568379

  2.2win11中idea ultimate 的安装与破解

     2.2.1.安装

官网安装https://www.jetbrains.com.cn/idea/download/?section=windows   我们暂时跳过IDEA的安装步骤。如果您熟悉软件的安装过程，可以按照默认设置一路点击“下一步”即可完成安装。

     2.2.2.突破free30day工具下载及使用

  解压完后 拷贝文件夹jetbra 到 某个盘根目录 我拷到了 F盘。

打开idea,然后打开jetbra文件夹 进入 "F:\JetBrains  2022 最新全家桶激活" 双击install-current-user文件。

 注意点击文件有风险拦截 点击确定即可。

 点击【确定】按钮后，过程大概 10 - 30 秒，如看到弹框提示 Done 时，表示激活成功：

重新打开idea的设置复制破解码，输入到下面的许可证中。

 

6G5NXCPJZB-eyJsaWNlbnNlSWQiOiI2RzVOWENQSlpCIiwibGljZW5zZWVOYW1lIjoic2lnbnVwIHNjb290ZXIiLCJhc3NpZ25lZU5hbWUiOiIiLCJhc3NpZ25lZUVtYWlsIjoiIiwibGljZW5zZVJlc3RyaWN0aW9uIjoiIiwiY2hlY2tDb25jdXJyZW50VXNlIjpmYWxzZSwicHJvZHVjdHMiOlt7ImNvZGUiOiJQU0kiLCJmYWxsYmFja0RhdGUiOiIyMDI1LTA4LTAxIiwicGFpZFVwVG8iOiIyMDI1LTA4LTAxIiwiZXh0ZW5kZWQiOnRydWV9LHsiY29kZSI6IlBEQiIsImZhbGxiYWNrRGF0ZSI6IjIwMjUtMDgtMDEiLCJwYWlkVXBUbyI6IjIwMjUtMDgtMDEiLCJleHRlbmRlZCI6dHJ1ZX0seyJjb2RlIjoiSUkiLCJmYWxsYmFja0RhdGUiOiIyMDI1LTA4LTAxIiwicGFpZFVwVG8iOiIyMDI1LTA4LTAxIiwiZXh0ZW5kZWQiOmZhbHNlfSx7ImNvZGUiOiJQUEMiLCJmYWxsYmFja0RhdGUiOiIyMDI1LTA4LTAxIiwicGFpZFVwVG8iOiIyMDI1LTA4LTAxIiwiZXh0ZW5kZWQiOnRydWV9LHsiY29kZSI6IlBHTyIsImZhbGxiYWNrRGF0ZSI6IjIwMjUtMDgtMDEiLCJwYWlkVXBUbyI6IjIwMjUtMDgtMDEiLCJleHRlbmRlZCI6dHJ1ZX0seyJjb2RlIjoiUFNXIiwiZmFsbGJhY2tEYXRlIjoiMjAyNS0wOC0wMSIsInBhaWRVcFRvIjoiMjAyNS0wOC0wMSIsImV4dGVuZGVkIjp0cnVlfSx7ImNvZGUiOiJQV1MiLCJmYWxsYmFja0RhdGUiOiIyMDI1LTA4LTAxIiwicGFpZFVwVG8iOiIyMDI1LTA4LTAxIiwiZXh0ZW5kZWQiOnRydWV9LHsiY29kZSI6IlBQUyIsImZhbGxiYWNrRGF0ZSI6IjIwMjUtMDgtMDEiLCJwYWlkVXBUbyI6IjIwMjUtMDgtMDEiLCJleHRlbmRlZCI6dHJ1ZX0seyJjb2RlIjoiUFJCIiwiZmFsbGJhY2tEYXRlIjoiMjAyNS0wOC0wMSIsInBhaWRVcFRvIjoiMjAyNS0wOC0wMSIsImV4dGVuZGVkIjp0cnVlfSx7ImNvZGUiOiJQQ1dNUCIsImZhbGxiYWNrRGF0ZSI6IjIwMjUtMDgtMDEiLCJwYWlkVXBUbyI6IjIwMjUtMDgtMDEiLCJleHRlbmRlZCI6dHJ1ZX1dLCJtZXRhZGF0YSI6IjAxMjAyMjA5MDJQU0FOMDAwMDA1IiwiaGFzaCI6IlRSSUFMOi0xMDc4MzkwNTY4IiwiZ3JhY2VQZXJpb2REYXlzIjo3LCJhdXRvUHJvbG9uZ2F0ZWQiOmZhbHNlLCJpc0F1dG9Qcm9sb25nYXRlZCI6ZmFsc2V9-SnRVlQQR1/9nxZ2AXsQ0seYwU5OjaiUMXrnQIIdNRvykzqQ0Q+vjXlmO7iAUwhwlsyfoMrLuvmLYwoD7fV8Mpz9Gs2gsTR8DfSHuAdvZlFENlIuFoIqyO8BneM9paD0yLxiqxy/WWuOqW6c1v9ubbfdT6z9UnzSUjPKlsjXfq9J2gcDALrv9E0RPTOZqKfnsg7PF0wNQ0/d00dy1k3zI+zJyTRpDxkCaGgijlY/LZ/wqd/kRfcbQuRzdJ/JXa3nj26rACqykKXaBH5thuvkTyySOpZwZMJVJyW7B7ro/hkFCljZug3K+bTw5VwySzJtDcQ9tDYuu0zSAeXrcv2qrOg==-MIIETDCCAjSgAwIBAgIBDTANBgkqhkiG9w0BAQsFADAYMRYwFAYDVQQDDA1KZXRQcm9maWxlIENBMB4XDTIwMTAxOTA5MDU1M1oXDTIyMTAyMTA5MDU1M1owHzEdMBsGA1UEAwwUcHJvZDJ5LWZyb20tMjAyMDEwMTkwggEiMA0GCSqGSIb3DQEBAQUAA4IBDwAwggEKAoIBAQCUlaUFc1wf+CfY9wzFWEL2euKQ5nswqb57V8QZG7d7RoR6rwYUIXseTOAFq210oMEe++LCjzKDuqwDfsyhgDNTgZBPAaC4vUU2oy+XR+Fq8nBixWIsH668HeOnRK6RRhsr0rJzRB95aZ3EAPzBuQ2qPaNGm17pAX0Rd6MPRgjp75IWwI9eA6aMEdPQEVN7uyOtM5zSsjoj79Lbu1fjShOnQZuJcsV8tqnayeFkNzv2LTOlofU/Tbx502Ro073gGjoeRzNvrynAP03pL486P3KCAyiNPhDs2z8/COMrxRlZW5mfzo0xsK0dQGNH3UoG/9RVwHG4eS8LFpMTR9oetHZBAgMBAAGjgZkwgZYwCQYDVR0TBAIwADAdBgNVHQ4EFgQUJNoRIpb1hUHAk0foMSNM9MCEAv8wSAYDVR0jBEEwP4AUo562SGdCEjZBvW3gubSgUouX8bOhHKQaMBgxFjAUBgNVBAMMDUpldFByb2ZpbGUgQ0GCCQDSbLGDsoN54TATBgNVHSUEDDAKBggrBgEFBQcDATALBgNVHQ8EBAMCBaAwDQYJKoZIhvcNAQELBQADggIBABqRoNGxAQct9dQUFK8xqhiZaYPd30TlmCmSAaGJ0eBpvkVeqA2jGYhAQRqFiAlFC63JKvWvRZO1iRuWCEfUMkdqQ9VQPXziE/BlsOIgrL6RlJfuFcEZ8TK3syIfIGQZNCxYhLLUuet2HE6LJYPQ5c0jH4kDooRpcVZ4rBxNwddpctUO2te9UU5/FjhioZQsPvd92qOTsV+8Cyl2fvNhNKD1Uu9ff5AkVIQn4JU23ozdB/R5oUlebwaTE6WZNBs+TA/qPj+5/we9NH71WRB0hqUoLI2AKKyiPw++FtN4Su1vsdDlrAzDj9ILjpjJKA1ImuVcG329/WTYIKysZ1CWK3zATg9BeCUPAV1pQy8ToXOq+RSYen6winZ2OO93eyHv2Iw5kbn1dqfBw1BuTE29V2FJKicJSu8iEOpfoafwJISXmz1wnnWL3V/0NxTulfWsXugOoLfv0ZIBP1xH9kmf22jjQ2JiHhQZP7ZDsreRrOeIQ/c4yR8IQvMLfC0WKQqrHu5ZzXTH4NO3CwGWSlTY74kE91zXB5mwWAx1jig+UXYc2w4RkVhy0//lOmVya/PEepuuTTI4+UJwC7qbVlh5zfhj8oTNUXgN0AOc+Q0/WFPl1aw5VV/VrO8FCoB15lFVlpKaQ1Yh+DVU8ke+rt9Th0BCHXe0uZOEmH0nOnH/0onD

 输入激活完成后就可以发现使用时长延长了。

 

 三 创建项目并连接

3.1项目创建

打开IDEA，点击【新建项目】，如果在windows上没有下载jdk，请先去下载并配置环境。

创建项目后，点击项目目录的pom.xml文件，接下来要配置pom.xml以导入依赖。

将<properties></properties>以及其内容删除，再将下面的内容写入，本次配置的依赖只有HDFS。

<properties>
        <maven.compiler.source>8</maven.compiler.source>
        <maven.compiler.target>8</maven.compiler.target>
        <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
 
        <hadoop.version>3.2.4</hadoop.version>
 
 
    </properties>
 
 
    <dependencies>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-client</artifactId>
            <version>${hadoop.version}</version>
        </dependency>
 
        <dependency>
            <groupId>junit</groupId>
            <artifactId>junit</artifactId>
            <version>4.11</version>
            <scope>test</scope>
        </dependency>
 
        <dependency>
            <groupId>org.apache.mrunit</groupId>
            <artifactId>mrunit</artifactId>
            <classifier>hadoop2</classifier>
            <version>1.1.0</version>
        </dependency>
 
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-minicluster</artifactId>
            <version>${hadoop.version}</version>
        </dependency>
        <dependency>
            <groupId>com.google.guava</groupId>
            <artifactId>guava</artifactId>
            <version>22.0</version>
        </dependency>
        <dependency>
            <groupId>org.junit.jupiter</groupId>
            <artifactId>junit-jupiter</artifactId>
            <version>RELEASE</version>
            <scope>compile</scope>
        </dependency>
        <dependency>
            <groupId>org.junit.jupiter</groupId>
            <artifactId>junit-jupiter</artifactId>
            <version>RELEASE</version>
            <scope>compile</scope>
        </dependency>
 
    </dependencies>

  如果hadoop版本不同，请修改<hadoop.version>3.2.4</hadoop.version>中的内容修改为对应版本。

  同时如果版本差距过大，可能hadoop.dll与winutils.exe的版本不适用，如果发现不行，请到github上下载与你 的hadoop版本相近的hadoop.dll与wintutils.exe。

  写入完成，可能会发现有很多红色，这是因为在本地没有对应的依赖的缘故，而我之前已经导入了依赖，因此不会显示红色，请点击请点击Maven在点击图标，然后等待一段时间，就可以从网上下载依赖到本地。

  这就可以以使用HDFS和MapReduce的相关API了，但是现在windows上的IDEA并不能连接到虚拟机上的Hadoop集群。

 

3.2在本地配置Hadoop相应组件

  因为已经在虚拟机中配置过Hadoop集群，所以直接打开虚拟机，打开xftp，在虚拟机的目录找到hadoop的路径，将文件夹拖入windows。

  打开环境变量配置，配置变量HADOOP_HOME，变量值写入hadoop的路径

 

修改变量Path，在最后添加。

%HADOOP_HOME%\bin
%HADOOP_HOME%\sbin

  在cmd中输入hadoop version，测试Hadoop组件是否配置好。

hadoop version

  将已下载好的hadoop.dll和winutils.exe放入hadoop的bin目录下。

现在其实就已经可以连接到Hadoop集群，但是这不直观，为了能够方便操作HDFS的文件以及直观的判断是否能够连接Hadoop集群，还需要继续下载big data tools插件。

3.3IDEA插件Big Data Tools的安装及使用

  打开IDEA，选择文件->设置

  插件中下载 big data tools

  下载完Big Data Tools重启IDEA，再次打开设置。

  就可以直接找到Big Data Tools插件。

  点击添加，本次内容仅限于HDFS，名称可以随意起。集群url为虚拟机的IP地址和端口号格式为hdfs://虚拟机ip:9000。连接之前要先去虚拟机中启动hadoop集群。

  点击测试连接，显示以下内容即为连接成功（若连接超时可见文章结尾解决办法）。

四 测试

  在main文件中编写代码（注意修改文件路径）

package org.example;
 
import java.io.IOException;
 
public class Main {
 
    public static void main(String[] args) throws IOException {
        上传文件
        String localFilePath = "E:/zhoulihui/upload1.txt";
        String hdfsFilePath = "/usr/local/hadoop/javatest.txt";
        upload.uploadToHDFS(localFilePath, hdfsFilePath);
 
    }
 
}

   运行成功之后就可以在左侧的插件工具栏中看到上传的文件。

 五 连接问题解决

  5.1 显示hdfs连接超时

 原因是虚拟机中的hadoop配置文件没有将接口开放。

  解决办法，在/usr/local/hadoop/etc/hadoop该路径下找到core-site.xml文件添加以下内容。因为默认的不允许除主机外的其他主机连接，将其中的10.120.50.131改为自己的hadoop主机ip，再重启hadoop进行连接即可。

<configuration>
   <property>
    <name>fs.defaultFS</name>
    <value>hdfs://10.120.50.131:9000</value>
   </property>
   <property>
    <name>ipc.maximum.response.length</name>
    <value>1048576</value> <!-- 例如，设置为 1 MB 的长度 -->
   </property>
</configuration>

 

 

 

 

 

 

---