【软考数据库】第十三章 云计算与大数据处理_云方向软考

目录

13.1 云计算

13.1.1 云计算的关键特征

13.1.2 云计算分类

13.1.3 云关键技术

13.1.4 云计算的安全

13.1.5 云安全实施的步骤

13.2 大数据 

---

前言：

笔记来自《文老师软考数据库》教材精讲，精讲视频在b站，某宝都可以找到，个人感觉通俗易懂。

13.1 云计算

13.1.1 云计算的关键特征

• 云计算是与信息技术、软件、互联网相关的一种服务，这种计算资源共享池叫作“云”，，云计算把许多计算资源集合起来，通过软件实现自动化管理，只需要很少的人参与，就能让资源被快速提供。
• 云计算的关键特征：
  1)广泛的网络接入:用户可以通过网络，采用标准机制访问云中的物理和虚拟资源的特性。标准机制有助于用户通过异构平台使用资源。
  2)可测量的服务:通过可计量的服务交付使得服务使用情况可监控、控制和计费的特性。这个特性强调用户只为自己使用的服务付费，降低用户成本，为用户带来价值。
  3)多租户:通过对物理或虚拟资源的分配保证多个租户以及他们的计算和数据彼此隔离和不可访问的特性。在云中可以实现多种不同形式的租户组织。
  4)按需自服务:客户能够根据自身的实际需求，自动或在最少交互的情况下，配置计算能力的特性。
  5)快速的弹性和可扩展性:物理或虚拟资源能够快速、弹性，有时是自动化地供应，以达到快速增减资源目的的特性。
  6)资源池化:将云服务提供者的物理或虚拟资源进行集成，以便服务于一个或多个云服务客户的特性。该特性通过抽象对用户屏蔽了资源处理和分配的复杂性，用户无需知道资源是如何分布，如何分配的。
• 其他关键特征:.
  1) 虚拟化技术 虚拟化突破了时间、空间的界限，是云计算最为显著的特点。
  2) 可靠性高:倘若服务器故障也不影响计算与应用的正常运行。
  3)性价比高。

13.1.2 云计算分类

• 根据云部署模式和云应用范围分类
  1)公有云:云的基础设施一般是被一个云计算服务提供商所拥有，该组织将云计算服务销售给
  公众。
  2)社区云:云的基础设施被一些组织共享，并为一个有共同关注点的社区服务(例如任务、安全要求、政策和遵守的考虑)。
  3)私有云:云的基础设施是为一个客户单独使用而构建的。
  4)混合云:云的基础设施是由两种或两种以上的云(私有、社区或公有)组成，每种云仍然保持独立，但用标准的或专有的技术将它们组合起来，具有数据和应用程序的可移植性《例如，可以用来处理突发负载)，混合云有助于提供按需和外部供应方面的扩展。
• 根据云计算的服务层次和服务类型分类：
  1)基础设施即服务(aas): 基础设施即服务是主要的服务类别之一，提供虚拟化计算资源，如虚拟机、存储、网络和操作系统。通过网络作为标准化服务提供按需付费的弹性基础设施服务其核心技术是虚拟化。
  2)平台即服务(PaaS):平台即服务是一种服务类别，为开发人员提供通过全球互联网构建应用程序和服务的平台。Paas 为开发、测试和管理软件应用程序提供按需开发环境。其核心技术是分布式并行计算。
  3)软件即服务(Saas): 软件即服务也是其服务的一类，通过互联网提供按需软件付费应用程序云计算提供商托管和管理软件应用程序，并允许其用户连接到应用程序井通过互联网访问应用程字。、

13.1.3 云关键技术

1.虚拟化技术 是一种资源管理技术，是将计算机的各种实体资源(CPU、内存、磁盘空间、网络适配器等)予以抽象、转换后呈现出来，并可供分割、组合为一个或多个电脑配置环境。云计算中的虚拟化往往指的是系统虚拟化。系统虚拟化是指将一台物理计算机系统虚拟化为一台或多台虚拟计算机系统。
2.分布式数据存储:包含非结构化数据存储和结构化数据存储。其中，非结构化数据存储主要采用文件存储和对象存技术62而结构化数据荐储生要采用分布式数据库技术，特别是NOSQL数据库。
3.并行计算:云计算下把海量数据分布到多个结点上，将计算并行化，利用多机的计算资源，加快数据处理的速度。云计算下的并行处理需要考虑以下关键问题，任务划分、任务调度和自动容错处理机制。
4.运营支撑管理:为了支持规模巨大的云计算环境，需要成千上万台服务器来支撑。如何对数以万计的服务器进行稳定高效地运营管理，成为云服务被用户认可的关键因素之一。

13.1.4 云计算的安全

云计算面临的主要数据安全问题和风险包括：
（1）数据存储及访问控制:数据丢失或损坏，数据被非法访问和篡改，多租户之间的数据干扰泄露，数据服务被阻塞，过期数据的妥善保管或销毁等等。
（2）数据传输保护:数据在分布式应用中传递时被窃取或攻击。
（3）数据隐私及敏感信息保护:数据所有权问题，非法授信，隐私泄露等。
（4）数据可用性:异常崩溃、业务中断等。
（4）依从性管理:数据服务违反了法律及政策的要求等。

针对上述计算面临的主要数据安全问题和风险，相应可采取的数据安全管理技术列举如下:
(1)数据保护及隐私保护:包括虚拟镜像安全、数据加密及解密、数据验证、密钥管理、数据恢复、云迁移的数据安全等。
(2)身份及访问管理: 包括身份验证、目录服务、联邦身份鉴别/单点登录(Single Sign、个人身份信息保护、安全断言置标语言、虚拟资源访问、多租用数据授权、基于角色on,sso)的数据访问、云防火墙技术等。
(3)数据传输:包括传输加密及解密、密钥管理、信任管理等。
(4)可用性管理:包括单点失败 (SPOF)、主机防攻击、容灾保护等。
(5)日志管理:包括日志系统、可用性监控、流量监控、数据完整性监控、网络入侵监控等。
(6)审计管理:包括审计信任管理、审计数据加密等。
(7)依从性管理:包括确保数据存储和使用等符合相关的风险管理和安全管理的规定要求。

13.1.5 云安全实施的步骤

（1）确保拥有有效的治理、风险及合规性流程；
（2）审计运维和业务流程报告；
（3）管理人员、角色及身份；
（4）的确保对数据和信息的合理保护；
（5）实行隐私策略；
（6）评估云应用程序的安全规定；
（7）确保云网络和连接的安全性；
（8）的评估物理基础设施和设备的安全管理；
（9）管理云服务水平协议(SLA)的安全条款；
（10）了解退出过程的安全需要。

13.2 大数据 

• 大数据是具有数量巨大、来源多样、生成极快且多变等特征且难以使用传统数据体系结构有效处理的包含大量数据集的数据。
• 大数据的5V特征: Variety (多样性)、Velocity (速度) 、Volume (数量) 、Value (价值)Veracity (真实性)。
• 从大数据生命周期的角度看，大数据处理的基本流程包括:数据采集、数据分析和数据解释。

---

【软考数据库】第一章 计算机系统基础知识
【软考数据库】第二章 程序语言基础知识
【软考数据库】第三章 数据结构与算法
【软考数据库】第四章 操作系统知识
【软考数据库】第五章 计算机网络
【软考数据库】第六章 数据库技术基础
【软考数据库】第七章 关系数据库
【软考数据库】第八章 数据库SQL语言
【软考数据库】第九章 非关系型数据库NOSQL
【软考数据库】第十章 系统开发与运行
【软考数据库】第十一章 数据库设计
【软考数据库】第十二章 事务管理