当前位置:   article > 正文

HDFS Java API介绍_使用 java api 访问 hdfs 文件,需要使用 org.apache.hadoop.fs.f

使用 java api 访问 hdfs 文件,需要使用 org.apache.hadoop.fs.filesystem 类,实

Hadoop整合了众多文件系统,HDFS只是这个文件系统的一个实例。HDFS Java API主要包如下所示:

org.apache.hadoop.fs.FileSystem:它是通用文件系统的抽象基类,可以被分布式文件系统继承,它具有许多实现类,例如:LocalFileSystem、DistributedFileSystem、FtpFileSystem等。

1.org.apache.hadoop.fs.FileStatus:它用于向客户端展示系统中文件和目录的元数据,具体包含文件大小、块大小、副本信息、修改时间等。

2.org.apache.hadoop.fs.FSDataInputStream:文件输入流,用于读取Hadoop文件。

3.org.apache.hadoop.fs.FSDataOutputStream:文件输出流,用于写Hadoop文件。

4.org.apache.hadoop.conf.Configuration:访问配置项,默认配置参数在core-site.xml中,用户可以添加相应的配置参数。

5.org.apache.hadoop.fs.Path:用于表示Hadoop文件系统中的一个文件或者一个目录的路径。

在Java中操作HDFS,首先需要创建一个客户端实例,主要涉及以下类:

Configuration:该类的对象封装了客户端或者服务器的配置,每个配置选项是一个键值对,通常情况下,Configuration实例会自动加载HDFS的配置文件core-site.xml,从中获取Hadoop集群的配置信息。

FileSystem:该类的对象是一个文件系统对象,通过该对象的一些方法可以对文件进行操作FileSystem常用方法:
在这里插入图片描述
小提示:

Hadoop API非常庞大,读者可以通过Hadoop官方文档自行查阅学习,地址如下:Hadoop官方文档地址

史上最全面的Hadoop入门教程

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/天景科技苑/article/detail/740522
推荐阅读
相关标签
  

闽ICP备14008679号