热门标签
热门文章
- 1“OpenXLab浦源”人工智能开源开放体系发布，九大项目共建生态 | WAIC 2022_人工智能开放计算体系 deeplink
- 2websocket心跳检测前后端架构_前后端分离心跳检测
- 3辅助编程工具Github Copilot、CodeWhisperer和Cursor（程序猿必看）【收藏】-让编程变得简单轻松_datagrip,copilot
- 4TIKZ——LaTeX基本绘图
- 5基于android系统的视频监控客户端软件的设计与实现,基于Android实时视频监控客户端设计与实现...
- 6使用开源通义千问模型（Qwen）搭建自己的大模型服务_qwen github
- 7MacOS使用clang_mac安装clang
- 8SSL证书、 der、 cer、 pem、x.509区别_cer证书
- 9AI-900认证考试攻略
- 10初识Metaio SDK(二)
当前位置: article > 正文
Hadoop的HDFS以及YARN简介_hadoop hdfs yarn
作者：不正经 | 2024-03-07 11:45:47
赞
踩
hadoop hdfs yarn
Hadoop的HDFS以及YARN简介
Hadoop分布式系统简介
Hadoop分布式系统重要部分
- HDFS
- YARN
- MapReduce
- Zookeeper
- Hive
- Hbase
- …
HDFS(分布式存储系统)
- 用途：解决大数据的存储问题
主要优缺点
- 优点：
- 分布式的特性
- 适合大数据处理
- 百万规模以上的文件数量
- 适合批处理
- 移动计算而非数据(MR),数据位置暴露给计算框架
- 高可靠性，高容错性
- 缺点
- 低延迟高数据吞吐访问问题
- 小文件读取占大量内存
- 不支持文件修改
功能模块
数据存储单元（block）
文件被切分成固定大小的数据块block
默认数据块大小为128MB（Hadoop2.x）
数据大小不足一个block存成一个block
block为逻辑概念&
声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/不正经/article/detail/205426
推荐阅读
相关标签
