赞
踩
简介
当数据集的大小超过一台独立的物理计算机的存储能力时,就有必要对它进行分区并存储到若干台单独的计算机上,管理网络中跨多台计算机存储的文件系统称之为分布式文件系统(distributed filesystem)。该系统架构于网络之上,势必会引入网络编程的复杂性,因此分布式文件系统比普通磁盘文件系统更为复杂,例如,该文件系统能够容忍节点故障而不丢失任何数据,就是一个极大的挑战。
Hadoop自带一个称为HDFS的分布式文件系统,即Hadoop Distributed FileSystem。有时候也称为DFS,这就是我们本章要重点了解的内容。
第2关:HDFS-JAVA接口之读取文件
package step2; import java.io.IOException; import java.io.InputStream; import java.net.URI; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IOUtils; public class FileSystemCat { public static void main(String[] args) throws IOException { //请在Begin-End之间添加你的代码,完成任务要求。 /********* Begin *********/ URI uri = URI.create("hdfs://localhost:9000/user/hadoop/task.txt"); Configuration config = new Configuration(); FileSystem fs = FileSystem.get(uri, config); InputStream in = null; try { in = fs.open(new Path
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。