当前位置:   article > 正文

HDFS的Java API操作_java hdfs copyfromlocal

java hdfs copyfromlocal

通过Java代码操作HDFS集群

目录

引言

Idea连接HDFS

第一步:引入HDFS依赖

第一种引入方式(jar包)

第二种引入方式(使用maven引用)

引入项目依赖的时候:

maven项目的几个核心的生命周期:

第二步:idea操作

配置HDFS的访问路径

单元测试

HDFS的JavaAPI基本操作

Maven依赖准备

hdfs文件系统的API使用

操作HDFS:

连接HDFS文件系统------是必备操作(见二、idea连接HDFS)

对HDFS进行操作

递归获取HDFS所有文件

FileSystem其他方法

IO流操作HDFS

利用IO流实现文件的上传和下载

利用IO流实现定位文件读取


引言

要想在Windows上操作HDFS,首先需要在Windows上安装HDFS。由于Hadoop官网没有提供Windows下载版本,所以需要对 Hadoop.tar.gz进行两次解压(推荐用7-zip软件),解压完成后添加相应环境变量:HADOOP_HOME、Path

Idea连接HDFS

第一步:引入HDFS依赖

第一种引入方式(jar包)

自己找jar包然后插入程序中(HDFS编程所需jar包都在Hadoop安装目录的share目录下,此处将jar包归类了三个文件夹

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/繁依Fanyi0/article/detail/530175
推荐阅读
相关标签
  

闽ICP备14008679号