分布式文件系统HDFS_分布文件系统hdfs

作者：你好赵伟 | 2024-05-30 01:32:04

踩

分布文件系统hdfs

在hadoop当中，分布式文件系统（HDFS），对文件系统有一个抽象，HDFS属于当中的一个实现类，可以通过文件系统获取本地文件系统，操作Linux磁盘上面的文件，也可以获取分布式文件系统，操作hdfs上面的文件

        ftp://ftp文件系统，可以做文件的上传下载

        webHdfs：浏览器操作文件系统，可以允许我们通过浏览器上传，下载，修改，hdfs上面的文件

        hdfs：分布式文件系统

        local：本地文件系统

1、硬件错误是常态，特别是硬盘的损坏是常态。解决方式：引入副本机制

2、数据流访问，所有的数据访问都是访问大量的数据，使用IO流一直操作，追求的是稳定，不是效率

3、大数据集假设所有存储到hdfs的数据都是海量的数据，不擅长处理小文件，因为一个小文件占用一个元数据，元数据

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/你好赵伟/article/detail/644769?site