大数据相关框架及技术栈简介_java组件大数据相关strom,flink,hbase,spark,clickhouse,dori

作者：人工智能uu | 2024-07-24 16:44:40

踩

java组件大数据相关strom,flink,hbase,spark,clickhouse,doris

Hadoop是一个由Apache基金会所开发的分布式系统基础架构。主要解决，海量数据的存储和海量数据的分析计算问题。

Hadoop主要有：（1）高可靠性：Hadoop底层维护多个数据副本

（2）高扩展性：可方便的扩展数以千计的节点。

（3）高效性：在MapReduce的思想下，Hadoop是并行工作的

（4）高容错性：能够自动将失败的任务重新分配。

主要由三部分构成：（1）HDFS，是一个分布式文件系统。

（2）Yarn是 Hadoop 的资源管理器。

（3）MapReduce 负责运算。

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/人工智能uu/article/detail/875816?site

大数据 相关框架及技术栈简介_java组件大数据相关strom,flink,hbase,spark,clickhouse,dori