hadoop权威指南读书笔记_《hadoop权威指南》读书笔记

作者：空白诗007 | 2024-07-22 15:04:10

踩

《hadoop权威指南》读书笔记

第一章概述
1.当今是数据大爆炸的时代，数据的存储与分析成为问题
2.hadoop hdfs解决存储问题 mapreduce解决批量分析问题。
3.大量数据由于好的算法。推荐算法依赖大量用户数据。
4.hadoop名字的由来 doug cutting 孩子的毛绒玩具。
5. 2006年 hadoop诞生 2008成为apache 顶级项目
6. 与传统关系数据库对比：数据量大非实时批量处理数据可以是半结构化
第二章 mapreduce
1.用于数据处理的编程模型特点：并行执行
2.map 函数负责数据预处理（key,[value1,value2,value3]）
3.reduce函数负责得到处理结果遍历map阶段 value数组。
第三章 hdsf分布式文件系统
1.分布式文件系统：管理网络中多台计算机存储的文件系统。架构于网络之上，引入了网络编程的复杂性
2.分布式文件系统的容错不丢失数据
3.hdsf存储超大文件流式数据访问商业硬件

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/空白诗007/article/detail/865717

hadoop权威指南 读书笔记_《hadoop权威指南》读书笔记

hadoop权威指南读书笔记_《hadoop权威指南》读书笔记