当前位置:   article > 正文

大数据理论学习_大数据理论研究

大数据理论研究

1. 大数据的特点:

数据量大;
由结构化数据和非结构化数据组成,大部分是非结构化数据;
处理速度非常快;
价值密度低,商业价值高。

2. 大数据的影响:

2.1 科学研究变化:

科学研究四范式:实验,理论,计算,数据。
从计算到数据。

2.2 思维方式变化:

全样而非抽样。
效率而非精确。因为不存在误差放大问题。
相关而非因果。

3. 大数据的应用:

3.1 影视剧拍摄:

《纸牌屋》的拍摄。

3.2 谷歌预测流感

4. 大数据的关键技术:

两大核心技术:

4.1 分布式存储:

分布式数据库,分布式文件系统。

4.2 分布式处理:

分布式并行处理技术。

4.2.1 典型计算模式:

批处理计算 MapReduce,Spark;
流计算 Storm,S4,Flume;(实时计算)
图计算 Pregel;(社交网络等)
查询分析计算 Hive。

5. 云计算:

5.1 解决的问题:

分布式存储和分布式处理。

5.2 典型特征:

虚拟化和多租户。

5.3 分类:

公有云,私有云,混合云。

SaaS:软件即服务。
PaaS:平台即服务。
IaaS:基础设施即服务。(计算资源)

5.4 数据中心选址:

地质稳定,气候凉爽。

6. 物联网:

物物联通的互联网。

6.1 结构:

应用层
处理层
网络层
感知层

6.2 关键技术:

识别技术,感知技术。

7.Hadoop:

开源分布式计算平台。

7.1 两大核心:HDFS和MapReduce

7.2 版本:

7.2.1:1.0版本

0.20.x,0.21.x,0.22.x,1.0.x。
框架:
MapReduce
HDFS

7.2.2:2.0版本

2.0:0.23.x,2.x。
框架:
MapReduce + Others
YARN
HDFS

声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:【wpsshop博客】
推荐阅读
相关标签
  

闽ICP备14008679号