大数据技术概述（一）

1、大数据技术的特点

BI；数据处理,建立在传统数据集上，对历史数据进行统计和分析。   

AI:对传统数据集有一定的利用，但是并不准确。随着大数据这样的数据出现，使得我们可以用AI对未来做更精确的预测和分析。我们基于AI，在大数据之上，对未来有个更精确的模型，和更加准确的结果。 大数据技术和AI技术良性循环，随着大数据和AI的持续利用，机器学习和深度学习使用，随着AI技术的持续和普遍拓展使用，使得数据量越来越多。而数据量越多，AI预测越准确。

2、数据库存储区别

【传统数据仓库】

用于存储长时间周期的，公司内部数据唯一版本、并且集中式存储。对所有业务系统的数据进行采集收集-到数据仓库，做日常业务分析——对历史数据做定位，统一抽取清洗转换，基于数据仓库结构，集中式存储的数据结构对历史数据进行分析。

【大数据存储】

1）海量数据无法做到单机存储，将其变成集群，像单机一样统一对外提供分析服务。在大数据层面，变成分布式结构；

2）数据类型更加丰富多样，甚至可以对非结构化、半结构化数据进行分析。以便对接更加丰富的数据源：数据不止来源于业务数据库，还有前端采集摄像头、WEBserver服务器 日志信息、业务数据库的结构化数据存储到集群环境当中。

3）集群环境可以满足数据增量的能力。数据增量变大时对整个集群计算和扩容能力有要求，而单机式存储不具备这个能力。  纵向扩容：扩容时换更多的盘（硬件）以增加扩容，是单机式扩容的方法；横向扩容：集群式扩容方法，不仅是内部增加硬件，而是通过增加计算节点或存储节点的方式去扩容，打破了纵向扩容的扩容瓶颈，无瓶颈上限。且分布式计算会拆分多个计算的小任务，利用集群的并行计算能力，达到整个集群对海量数据处理能力的速度需求。——更大、更多样、高速度提升要求，构建大数据分析的数据仓库。