热门标签
热门文章
- 12024不可不会的StableDiffusion之反向提示词（六）
- 2本地部署Llama3 8b用Ollama和open-webui_llama3 8b 安装
- 3《我的阿勒泰》观后感（一、什么叫做有用）_我的阿勒泰观后感800字作文
- 4【重点EI会议推荐】机器学习主题方向论文征稿：2021计算机、物联网与控制工程国际学术会议（CITCE 2021)...
- 5【论文阅读】Spatio-Temporal Graph Convolutional Networks:...Traffic Forecasting[时空图卷积网络:用于交通预测的深度学习框架]（1）_spatio-temporal graph convolutional networks: a de
- 6川土微电子|CA-IS1200G全差分隔离运放ADC简介
- 7Transformer是什么？看完这篇你就醍醐灌顶
- 8【附源码】Java计算机毕业设计基于微信小程序的房屋交易平台（程序+LW+部署）_微信小程序购房代码
- 9区块链项目主持词_IT项目的三大主持人：谁赢得了比赛
- 10微信公众号关联微信小程序并跳转_公众号跳转小程序
当前位置: article > 正文
大数据—Spark简介
作者：在线问答5 | 2024-07-13 13:47:57
赞
踩
大数据—Spark简介
1、Spark是什么
Spark是基于内存计算的大数据并行计算框架，是一个用来实现快速而通用的集群计算平台。它替代了广泛使用的MapReduce计算模型，并且支持交互式查询和流处理等其他高效计算模型。
2、Spark与Hadoop的关系
Spark是一个计算框架,它只是MapReduce的替代方案，当然随着spark发展壮大，现在spark也形成了它自己的生态系统；而Hadoop是一个生态系统，包含计算框架MapReduce和分布式文件系统HDFS，还有Hbase,Hive等。
2.1、为何Spark比MapReduce快
1、基于MapReduce的计算引擎通常会将中间结果输出到磁盘上，进行存储和容错，磁盘IO开销是造成MapReduce慢的主要原因。
MapReduce将任务划分成map和reduce两个阶段，map产生的中间结果写回磁盘。那么在这两个阶段之间的shuffle操作就需要从网络中的各个节点进行数据拷贝，那么就会有大量的时间耗费在网络磁盘IO中而不是在计算上。
举个例子，例如像逻辑回归这样的迭代式的计算，MapReduce的弊端会显得更加明显。
Hadoop磁盘读写 IO开销大
推荐阅读
相关标签
