热门标签
热门文章
- 1《善数者成：大数据改变中国》读书笔记2_读书笔记大数据改变中国
- 2【国外框架】—— quasar 响应式
- 3记录下vue-plugin-hiprint使用记录
- 4atmega328p引脚图_Arduino UNO兼容ATmega328开发板-Seeeduino v4.0，附原理图/PCB/使用说明等...
- 5AFNetworking使用入门（随笔和链接）_afnetworking 使用长链接
- 619ContraBERT：顶会ICSE23 数据增强+对比学习+代码预训练模型，提升NLP模型性能与鲁棒性：处理程序变异（变量重命名）【网安AIGC专题11.15】
- 7使用 Rust 实现 I/O 多路复用：基础概念与代码实践_rust 多路复用
- 8基于FPGA的CORDIC算法实现——Verilog版_cordic算法详解 一休哥
- 9JSONObject、JSONArray_object转jsonarray
- 10hadoop-flink完全分布式集群搭建_flink分布式集群
当前位置: article > 正文
大数据(二) - HDFS_hdfs100万文件块
作者：盐析白兔 | 2024-05-30 01:36:25
赞
踩
hdfs100万文件块
HDFS优点
高容错性
数据自动保存多个副本
副本丢失后，自动恢复
适合批处理
移动计算而非数据
数据位置暴露给计算框架
适合大数据处理
GB、TB、甚至PB级数据
百万规模以上的文件数量
10K+节点规模
流式文件访问
一次性写入，多次读取
保证数据一致性
可构建在廉价机器上
通过多副本提高可靠性
提供了容错和恢复机制
HDFS缺点，不适合以下操作方式：
低延迟数据访问
比如毫秒级
低延迟与高吞吐率
小文件存取
占用NameNode大量内存
寻道时间超过读取时间
并发写入、文件随机修改
一个文件只能有一个写者
仅支持append
声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/盐析白兔/article/detail/644779
推荐阅读
相关标签
