【云计算与大数据技术】大数据概念和发展背景讲解（图文解释 超详细）_大数据技术背景

一、什么是大数据

大数据是一个不断发展的概念，可以指任何体量或负载下那个超出常规数据处理方法和处理能力的数据，数据本身可以是结构化，半结构化甚至是非结构化的，随着物联网技术与可穿戴设备的飞速发展，数据规模变得越来越大，内容越来越复杂，更新速度越来越快，大数据和应用已成为产业升级与新产业崛起的重要推动力量

从狭义上来讲：大数据主要是指处理海量数据的关键技术以及在各个领域中的应用，是指从各种组织形式和类型的数据中发掘有价值的信息的能力，另一方面，狭义的大数据反映的是数据规模之大，以至于无法在一定时间内用常规数据处理软件和方法对其内容有效的抓取，管理和处理，狭义的大数据主要是指海量数据的获取，存储，管理，计算分析，挖掘与应用的全新技术体系

广义上讲,大数据包括大数据技术、大数据工程、大数据科学和大数据应用等与大数据相关的领域  

 

 

 

 

 

二、大数据的特点

学术界已经总结了大数据的许多特点，包括体量巨大，速度极快，模态多样，潜在价值大等。IBM公司使用3V来描述大数据的特点

 Volume(体 量 )。 通过各种设备产生的海量数据体量巨大 ,远大于目前互联网上的信息流量

 Variety(多 样 )。 大数据类型繁多，在编码方式 、数据格式 、应用特 征等多个方面存在差异

Velocity(速 率 )。 数据以非常高的速率到达系统内部，这就要求处理数据段 的速度必须非常快  

 

三、大数据发展 

大数据技术是一种新一代技术和构架,它成本较低,以快速的采集、处理和分析技术 从各种超大规模的数据中提取价值 

大数据采集与预处理方向 - 目前很多公司已经推出了多种数据清洗和质量控制工具(如IBM 公司的 DataStage)

大数据存储与管理方向 - 这个方向最常见的挑战是存储规模大,存储管理复杂, 需要兼顾结构化、非结构化和半结构化的数据 

大数据计算模式方向 - 目前出现了多种典型的 计算模式,包括大数据查询分析计算(如 Hive)、批处理计算(如 Hadoop MapReduce) 等

 大数据分析与挖掘方向 - 在数据量迅速增加的同时,还要进行深度的数据分析和挖掘,并且对自动化分析要求越来越高 

大数据可视化分析方向 - 通过可视化方式来帮助人们探索和解释复杂的数据, 有利于决策者挖掘数据的商业价值,进而有助于大数据的发展

大数据安全方向 - 文件访问控制权限 ACL、基础设备加密、匿名化保护技术和加密保 护等技术正在最大程度地保护数据安全

四、大数据的应用

梅西百货的实时定价机制 - 根据需求和库存的情况,该公司基于 SAS的系统对多达7300万种货品进行实时调价

Tipp24AG 针对欧洲博彩业构建的下注和预测平台 - 该公司用KXEN软件来分析数十亿计的交易以及客户的特性,然后通过预测模型对特定用户进行动态的营销活动

沃尔玛的搜索 - 这家零售业寡头为其网站 Walmart.com 自行设计了最新的搜索引擎 Polaris，利用语义数据进行文本分析、机器学习和同义词挖掘等

TescoPLC(特易购)和运营效率 - 这家连锁超市在其数据仓库中收集了700万部冰箱的数据。通过对这些数据的分析进行更全面的监控,并进行主动的维修以降低整体能耗

创作不易 觉得有帮助请点赞关注收藏~~~