云计算基础——云存储_云计算存储

概念导入

目前云存储的主要分为公有云、私有云和混合云。公有云通常指第三方提供商为用户提供的能够使用的云，公有云一般可通过互联网使用。这种云有许多实例，比如百度云盘、360云盘、OneDrive、阿里云、腾讯微云等等。私有云是为一个客户单独使用而构建的，因而提供对数据、安全性和服务质量的最有效控制。私有云可部署在企业数据中心的防火墙内，也可以将它们部署在一个安全的主机托管场所，私有云的核心属性是专有资源。私有云可以是企业提供的，也可以是自己架设的。公有云融合了公有云和私有云。私有云的安全性是超越公有云的，而公有云的计算资源又是私有云无法企及的。在这种矛与盾的情况下，混合云完美地解决了这个问题，它既可以利用私有云的安全，将内部重要数据保存在本地数据中心;同时也可以使用公有云的计算资源，更高效快捷地完成工作，相比私有云或是公有云都更完美。

掌握核心

云存储是一个以数据存储和管理为核心的云计算系统。

云存储由存储节点和控制节点两个部分组成。

云存储系统的结构模型由访问层、应用接口层、基础管理层（最核心的部分）、==存储层（最基础的部分）==四层组成。

云储存技术的两种架构是紧耦合对称架构和松弛耦合非对称架构。

云存储可分为两类：块存储（Block Storage）与文件存储（File Storage）。

认识云存储

云存储：它是指通过集群应用、网络技术或分布式文件系统等功能，将网络中大量不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的系统。

云存储的优势：

1、存储管理可以实现自动化和智能化，所有的存储资源被整合到一起，客户看到的是单一存储空间。

2、提高了存储效率，通过虚拟化技术解决了存储空间的浪费，可以自动重新分配数据，提高了存储空间的利用率，同时具备负载均衡、故障冗余功能。

3、云存储能够实现规模效应和弹性扩展，降低运营成本，避免资源浪费。

隐患与缺点：

1、对于较为机密的数据，云存储服务提供商如何保证用户数据的安全性。

2、由于带宽和其他因素，云端访问性能可能比本地端储存设备的性能低。

3、当用户有特殊的数据使用记录追踪需求时(如公务部门依据规章和条例的要求，而需留存某些电磁记录时)，使用云计算及云存储将使工作复杂度增加。

4、虽然可以一次提供给多人数据，或是传递数据给位于不同地方的人，但单人在转移数据的时候(例如文件由手机发送至电脑，或是由电脑发送至手机)因为需要重新“上传”与“下载”，会像是在绕远路一般，不如使用传输线的来的快。

5、传递大型数据的话，若是互联网断线或是云服务供应商出现差错，小则需要重新传输，大则有可能会导致数据上的差错或丢失。如何安全使用云存储?首先就是不要把重要数据或者涉及到个人隐私的数据放在云服务器上，毕竟没有绝对安全的云存储。其次，重要的数据要做好本地备份，防止云服务中断或云数据丢失等意外情况。

云存储系统的结构模型由4层组成。

1存储层

存储层是云存储最基础的部分。存储设备可以是FC光纤通道存储设备，可以是NAS和iSCSI等IP存储设备，也可以是SCSl或SAS等DAS存储设备。云存储中的存储设备往往数量庞大且分布多不同地域。彼此之间通过广域同、互联网或者FC光纤通道网络连接在一起。

存储设备之上是一个统一存储设备管理系统，可以实现存储设备的逻辑虚拟化管理、多链路冗余管理，以及硬件设备的状态监控和故障维护。

2基础管理层

基础管理层是云存储最核心的部分，也是云存储中最难以实现的部分。基础管理层通过集群、分布式文件系统和网格计算等技术，实现云存储中多个存储设备之间的协同工作，使多个的存储设备可以对外提供同一种服务，并提供更大更强更好的数据访问性能。

CDN内容分发系统、数据加密技术保证云存储中的数据不会被未授权的用户所访问，同时，通过各种数据备份和容灾技术和措施可以保证云存储中的数据不会丢失，保证云存储自身的安全和稳定。

3应用接口层

应用接口层是云存储最灵活多变的部分。不同的云存储运营单位可以根据实际业务类型，开发不同的应用服务接口，提供不同的应用服务。比如视频监控应用平台、IPTV和视频点播应用平台、网络硬盘引用平台，远程数据备份应用平台等。

4访问层

任何一个授权用户都可以通过标准的公用应用接口来登录云存储系统，享受云存储服务。云存储运营单位不同，云存储提供的访问类型和访问手段也不同。

（1）服务模型（2）HW模式（3）SW模式

云存储两种架构

紧耦合对称架构

松弛耦合非对称架构

紧耦合对称架构（TCS）：

紧耦合架构本质是一个Client——Server模型。客户机发起请求给服务器，服务器根据请求做出应答，然后给客户机反馈。

TCS架构设计简单，开发周期短暂，并且能快速投入部署和应用。但随着数据计算量，计算时间的增长，紧耦合架构渐渐不堪重负，缺点显现，主要表现在如下几个方面：

• 无法支持大规模的计算业务

• 计算机不能控制超载现象，而超载对硬件伤害非常大，这会严重降低计算机稳定运行能力和使用寿命

• 任务执行过程中不受管控，管理难度大

• 网络资源消耗大，同步操作在数据发送和数据返回之间，有很大一段是空闲的，这种空闲占用是对网络资源的极大浪费

• 服务器直接暴露给客户机，容易引发网络攻击行为，安全控制力度差

• 程序代码之间关联度过高，不利于模块化处理

松弛耦合非对称架构(LCA)：

松弛耦合非对称架构（LCA）架构在原来Client——Server模型之间加入一个代理（Agent），把CS模型变成CAS模型。在新的架构中，客户机的角色不变，代理服务器承担起与客户机通信，和对客户机的识别判断工作，服务器位于代理服务器后面，对客户机来说不可见，它只负责数据处理工作。

• 多任务并行处理能力获得极大提升

• 实现负载自适应机制，根据运行环境，松耦合架构分配并行工作任务，避免超载现象　　

• 实现了运行任务的随机控制，松耦合架构对运行中的工作任务进行随机调整和控制，避免持续超载现象

• 基本杜绝了网络攻击行为，由于代理服务器的隔绝和筛查作用，同时结合其它安全管理手段，外部攻击在代理服务器处就被识别和过滤掉了

• 有利于实现复杂的数据业务处理

• 异步操作减少了网络资源消耗和操作关联

• 增强了系统稳定性

云存储的种类

云存储可分为两类：块存储（Block Storage）与文件存储（File Storage）。

块存储

块存储会把单笔的数据写到不同的硬盘，借以得到较大的单笔读写带宽，适合用在数据库或是需要单笔数据快速读写的应用。它的优点是对单笔数据读写很快，缺点是成本较高，并且无法解决真正海量文件的储存。

（1）快速更改的单一文件系统（2）针对单一文件大量写的高性能计算（HPC）

文件存储

文件存储是基于文件级别的存储，它是把一个文件放在一个硬盘上，即使文件太大而拆分时，也是放在同一个硬盘上。它的缺点是对单一文件的读写回受到单一硬盘效能的限制，优点是对一个多文件、多人使用的系统，总带宽可以随着存储节点的增加而扩展，它的架构可以无限制地扩容，并且成本低廉。

文件系统合适应用的场合如下：

（1）文件较大，总读取带宽要求较高，如网站、IPTV

（2）多个文件同时写入，如监控

（3）长时间存放的文件，如文件备份、存放或搜寻

这些应用有以下共通的特性：

①文件的并发读取

②文件及文件系统本身较大

③文件使用期较长

④对成本控制要求较高

典型的文件存储应用：

（1）文件及内容搜寻（2）Tier-2NAS（3）多文件大量写入的应用

（4）数据大量读取的应用（5）多个使用端都希望读取同一个文件的应用

云存储的应用领域

备份

归档

分配

共享协作

备份应用逐渐向消费者模式以及Mozy或者Carbonite等企业的产销模式以外的领域扩展，进入中小型企业市场。最为普遍的应用方案是使用混合存储，将最常用的数据保存在本地磁盘，然后将它们复制到云之中。

归档最终会成为企业使用云容量的最佳方案。对于云来说，这是一个完美的应用领域，将旧数据从自己的设备迁移到别人的设备中。 这种数据移动是安全的，可进行端对端加密，而且许多供应商甚至都不会保存密钥，这样它们就是象看你的资料也看无法看到。混合模式在这个领域的应用也很普遍。 你可以将旧资料备份到一个看似底部NFS或CIFS安装点的设备中。这个领域的产品或服务供应商包括Nirvanix、Bycast和Iron Mountain等。

在归档应用中，还需调整这类产品中的应用程序接口配置。例如，我想给归档的项目上挂上具体元数据标签。最好还能在开始归档之前标明保留时间和删除冗余数据。云归档的位置将取决于提供云归档服务的服务商。

分配与协作，似乎要属于服务供应商提供的范畴。它们一般会使用上述供应商如Nirvanix、Bycast、Mezeo、Parscale提供的云基础设施产品或者EMC Atmos或Cleversafe等厂商的系统类产品。 如果想使用更传统的归档产品或服务，可以考虑Permabit或者Nexsan等可调存储厂商的产品和服务。

服务供应商们将利用这些基础设施。我们会发现这个领域开始分化。

在共享应用上，文件状态的检查还需进一步完善。我想知道文件的实时使用情况。 在传输方面，我想知道谁在传输文件，他们看了多长时间以及他们在阅览文件过程中在哪些地方做了评论或提出了问题。

云存储技术面临的问题

数据增长的数据管理问题不能总是靠单纯地加大存储容量来解决，在这种持续压力下，云存储技术成为新的选择。云存储系统是一个多设备、多应用、多服务协同工作的集合体，它的实现要以多种技术的发展为前提。

（1）互联网宽带的发展

（2）应用存储的发展

（3）集群技术、网络计算和分布式文件系统

（4）CDN内容分发、数据加密技术

（5）存储虚拟化技术、存储网络化管理技术

云存储安全问题

由于云存储应用的特殊性，其安全问题也不仅仅是传统安全能够解决的，这其中涉及一些新的关键技术和管理技术，主要有存储的重复数据删除、隐藏存储、数据加密与密文搜索、数据完整性审计技术。

（1）存储的重复数据删除

（2）隐藏存储

（3）数据加密与密文搜索

（4）数据完整性审计