使用IDEA远程运行测试hadoop jar包_连接hadoop测试

使用IDEA远程运行测试hadoop jar包

01windows配置hadoop环境变量

• 根据对应的hadoop版本下载hadoop/bin文件 ，下载地址https://github.com/Grizzlyhy/winutils
• 将下载位置的hadoop 添加到变量中
• 将bin目录添加到Path变量中

02安装BIG DATA TOOLS插件

File---->Settings---->Plugin 搜索BIG DATA TOOLS完成安装，重启即可

03连接HDFS

• 输入IP或者主机名（需要windows下配置hosts）以及端口号（分布式默认为8020）具体可查看配置文件
• 点击测试连接，连接成功后

连接成功后可以看到HDFS下文件，也同时证明我们环境变量配置正确

04配置pow.xml文件

需要这些插件，版本自行对应

		<dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-common</artifactId>
            <version>3.1.4</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-client</artifactId>
            <version>3.1.4</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-hdfs</artifactId>
            <version>2.8.5</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-mapreduce-client-core</artifactId>
            <version>3.1.4</version>
        </dependency>
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20

05运行测试

配置运行参数

运行结果