IntelliJ IDEA连接Hadoop集群_idea的项目连接hadoop集群

作者：小小林熬夜学编程 | 2024-04-18 05:12:11

踩

idea的项目连接hadoop集群

求个良心管我
留些余地处人

IntelliJ IDEA连接Hadoop集群

注意事项

该Hadoop集群为远程Hadoop集群
Hadoop集群已配置完毕，若未配置完毕，请转至多台Linux虚拟机Hadoop集群的安装与部署（超详细版）
IntelliJ IDEA所在的操作系统为Windows
IntelliJ IDEA所在操作系统已安装JDK

准备文件

hadoop-2.6.0.rar 提取码xix0
winutils下载
pom.xml 提取码whau
settings.xml 提取码tszl
log4j.properties 提取码9rwa

具体步骤

将hadoop-2.6.0.rar压缩包解压
增加系统变量HADOOP_HOME，变量值为hadoop-2.6.0.rar压缩包解压所在的目录
在系统变量中对变量名为PATH的系统变量追加变量值，变量值为 %HADOOP_HOME%/bin
解压下载的winutils，找到对应或邻近版本的Hadoop，进入其bin目录，将其中的hadoop.dll和winutils.exe拷贝到C:\Windows\System32目录
依次点击“File”→“Settings”，在弹出的页面左侧依次点击“Build, Execution, Deployment”→“Build Tools”→“Maven”，勾选User Settings File和Local repository的Override选项
将下载的settings.xml文件拷贝到C:\Users\Lenovo.m2（每个人根据上图方框内的路径查找是否有该文件，若有，则覆盖原文件，若无，则直接拷贝到该目录）目录，可将IDEA中maven修改为阿里镜像
打开IDEA，依次点击“File”→“New”→“Project”，点击左侧Maven，勾选上方“Create from archetype”，在下方列表中选择org.apache.maven.archetypes:maven-archetype-quickstart，点击“Next”
GroupId和ArtifactId自行填写，填写完毕后点击“Next”
勾选User Settings File和Local repository的Override选项，更改Local repository为其他路径，建议该路径有较大容量，点击“Next”
填写项目名，选择项目存储路径，点击“Finish”
此时，一些Maven工程会被加载到项目中，若左侧Project框内无src文件夹，等待Maven工程下载完毕
下载中

下载完毕
在Project框中src/main目录中新建目录resources
将远程集群的Hadoop安装目录下hadoop/hadoop-2.7.7/etc/hadoop目录下的core-site.xml、hdfs-site.xml两个文件通过Xftp等SFTP文件传输软件将两个文件复制，并移动到上述src/main/resources目录中（拖拽即可），然后将下载的log4j.properties文件移动到src/main/resources目录中（防止不输出日志文件）
使用下载的pom.xml文件覆盖项目本身的pom.xml文件（直接拖拽即可），该文件中的一些版本号（比如JDK、Hadoop等）修改为自己电脑中对应的版本（不修改似乎也可正常运行）
IDEA右下角会弹出更新确认框，点击Import Changes
等待更新完成即可，更新时，IDEA底部会出现“n processes running”，点击即可弹出更新进度
可运行以下WordCount程序以查看是否连接成功