大数据技术原理与应用学习笔记（一）_大数据技术原理与应用笔记

写在前面

临近期末考试，决定系统的复习一下《大数据技术原理与应用》这门课。文章中提到的基本都是我根据知识点筛选出来的，如果有缺少欢迎大家补充指正。文章主要参考教材《大数据技术原理与应用（第3版）》和林子雨老师的大数据技术mooc课程。
课程相关课件可点击此处下载

大数据概述

第三次信息化浪潮

三次信息化浪潮的时间

信息科技为大数据时代提供技术支撑

信息科技需要解决信息存储、信息处理和信息传输3个核心问题。

 信息存储：存储设备容量不断增加
 信息处理：CPU处理能力大幅提升
 信息传输：网络带宽不断增加

数据产生方式的变革促成大数据时代的来临

人类数据产生方式大致经历了3个阶段

运营式系统阶段、用户原创内容阶段、感知式系统阶段

大数据的发展历程

大体上可分为3个阶段：

大数据概念

“4V”说法

“4V”说法可以被认为是大数据的4个特点：

 数据量大
 数据类型繁多
 处理速度快
 价值密度低

大数据的影响

大数据对科学研究的影响

人类历史上的科学研究分别经历了4种范式：

 实验科学
 理论科学
 计算科学
 数据密集型科学

大数据对思维方式的影响

大数据时代最大的转变就是思维方式的3种转变：

 全样而非抽样
 效率而非精确
 相关而非因果

大数据的应用

大数据无处不在，包括金融、汽车、零售、餐饮、电信、能源、政务、医疗、体育、娱乐等在内的社会各行各业都已经融入了大数据的印迹

※大数据的关键技术

 两大核心技术：分布式存储和分布式处理

大数据的计算模式

云计算、大数据和互联网

云计算

云计算的概念

云计算是分布式计算的一种，指的是通过网络“云”将巨大的数据计算处理程序分解成无数个小程序，然后，通过多部服务器组成的系统进行处理和分析这些小程序得到结果并返回给用户。
现阶段所说的云服务已经不单单是一种分布式计算，而是分布式计算、效用计算、负载均衡、并行计算、网络存储、热备份冗杂和虚拟化等计算机技术混合演进并跃升的结果。

云计算的关键技术

虚拟化、分布式存储、分布式计算、多租户等

云计算的分类

云计算包括公有云、私有云和混合云。

三种云服务

1. IaaS：（基础设施即服务）面向网络架构师，为基础设施层
2. PaaS：（平台即服务）面向应用开发者，为平台层
3. SaaS：（软件即服务）面向用户，为应用层

云计算的优势

对于社会而言，云计算的优势主要有：

1. 云计算降低全社会的IT能耗，减少排放，真正做到”绿色计算“。
2. 提高全社会的IT设备使用率，并降低电子产品的数量，从而减少因设备淘汰而产生的电子产品垃圾，对于保护环境大有裨益

物联网

物联网的概念

物联网是指通过各种信息传感器、射频识别技术、全球定位系统、红外感应器、激光扫描器等各种装置与技术，实时采集任何需要监控、 连接、互动的物体或过程，采集其声、光、热、电、力学、化 学、生物、位置等各种需要的信息，通过各类可能的网络接入，实现物与物、物与人的泛在连接，实现对物品和过程的智能化感知、识别和管理。物联网是一个基于互联网、传统电信网等的信息承载体，它让所有能够被独立寻址的普通物理对象形成互联互通的网络。

物联网的层次结构

物联网大致分为4层：
应用层、处理层、网络层和感知层。

物联网的关键技术

物联网的关键技术：识别技术和感知技术。

大数据、云计算和物联网的关系