赞
踩
最近在学习厦门大学林子雨老师开讲的一门课程 —— 大数据技术原理与应用,决定开始做一下学习笔记。
参考材料:http://dblab.xmu.edu.cn/post/bigdata-online-course/#lesson0
1. 大数据4V特征
大数据具有数据量大(Volume)、数据类型繁多(Variety)、处理速度快(Velocity)、价值密度低(Value)等特点,统称“4V”。
2. 大数据的两大核心技术
分布式存储和分布式处理
3. 大数据计算模式
大数据计算模式 | 解决问题 | 代表产品 |
批处理计算 | 针对大规模数据的批量处理 | MapReduce、Spark等 |
流计算 | 针对流数据的实时计算 | Storm、S4、Flume、Streams、Puma、DStream、Super Mario、银河流数据处理平台等 |
图计算 | 针对大规模图结构数据的处理 | Pregel、GraphX、Giraph、PowerGraph、Hama、GoldenOrb等 |
查询分析计算 | 大规模数据的存储管理和查询分析 | Dremel、Hive、Cassandra、Impa |
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。