赞
踩
登录IAM用户后,进入servies,在左边的storage处有S3,点击进入S3的管理界面;点击create bucket,输入名称(自定义,要唯一),根据所处区域选择
第二步主要是设置相关功能,在Tags处输入 Name、自定义名,其他目前全部默认方式即可
设置访问权限,默认是阻止所有公共的访问,直接默认即可
点击create bucket,如此便成功创建了bucket,点击进入就会看到有关bucket的属性、权限等信息(一个bucket就相当于一个容器)
点击该bucket进入后在对象页面中可以看到upload,可以进行文件的上传,可以选择本地文件上传同时设置文件的权限(可以默认),恶可以选择存储的类别以及加密(默认即可)。
选择upload,可以看到该文件已经上传成功,进入该文件,可以看到文件相关属性
在该bucket中还可以点击create folder,也就是在bucket中创建一个虚拟的文件,该虚拟的文件中依旧可以上传图片等文件(注意对比两种方式上传的文件属性、url的不同等)
进入S3,开启默认加密选项,在Default encryption处勾选,随后选择下面的S3管理秘钥的方法。
进入该bucket上传文件,查看文件的属性,可以看到其加密方法(注意之前上传过的文件,其加密方式仍为修改前的)。如果需要修改桶的加密方式,使用上面的方法即可。注意第一个文件的加密方法即时在修改加密方式后也不会改变,依旧是首次加密时使用的方法。
安装aws命令行的工具包(有一台虚拟机的前提下)
awxcli --version
##检测安装情况
配置
awscli configure
回车ls -al
可以查看到到隐藏文件 。 cd .aws
,ls
可以看到credentials是存放在本地的,ls -al
,cat config
,cat credentials
,就可以查看到密码。配置完后生成几个文件进行加密 vi sse-s3.txt
,在文件中任意写入内容即可,cp sse-s3.txt sse-kms.txt
,cp sse-s3.txt sse-c.txt
(在家目录生成即可)
aws s3 cp sse-s3.txt s3://cloudlab-s3-encryption --sse
,##表示 将sse-s3.txt文件上传到s3://cloudlab-s3-encryption位置,–sse表示默认就是使用s3管理秘钥。
回到web界面的bucket处刷新,发现文件上传成功,查看其属性,可以看到是由s3管理秘钥进行加密的
aws kms list-keys
,查看当前kms中包含的key,虽然可以查看到,但是并不清楚这些key具体是用于做什么的;输入aws kms list-aliases
,使用别名这种方式就可以看到每个key的使用方法。aws s3 cp sse-kms.txt s3://cloudlab-s3-encryption --sse aws:kms --sse-kms-key-id "查看的key的id"
,回车后可以看到文件上传成功openssl enc -aes-128-cbc -k secret -P
aws s3 cp sse-c.txt s3://cloudlab-s3-encryption --sse-c --sse-c-key"上面生成的key的id"
,回车即可进入s3的管理界面,创建一个新bucket,创建时勾选Advanced setting处的permanently alow objects in this bucket to be locked即可。
上传一个文本文件,点击该上传好的文本文件,点击上面的属性,进入后找到 object lock,点击进入,enable governance mode (表示当操作的用户由权限时,那么这个锁的功能时不起作用的),enable compliance mode (表示任何用户都不可以再操作 )选择这一项即可。
在下面弹出的 confirm compliance mode出输入confirm,确定一下
查看刚才上传文件的属性,可以看到其当前的object lock变为了enabled的状态,此时删除该文件,可以看到改文件后面多了一个delete marker。如果再选中原文件进行删除,会有错误提示,警告删除的操作被拒绝。但是如果对标有delete marker的文件进行删除操作是可以成功的。也就是起到了文件的保护作用,只有到文件的期限到期后,才能进行删除的操作
概念:版本控制就是指当一个对象有多个版本时,可以将其产生的所有版本保存到一个bucket里。
如果将版本控制功能和Object Lifecycle Management结合使用,可以达到将老旧的版本转移到费用较低的存储上面达到节省费用以及数据归档的目的。值得注意的是启用S3生命周期管理,现在已经不需要先启动S3版本控制就可以直接开启生命周期管理了。可以同时对文件当前的版本和历史版本进行生命周期管理
还可以启用MFA Delete功能,在删除某个文件时需要不同的拥有者才能达到文件删除或版本更改的目的
工作原理
实验操作
创建一个新的bucket,勾选versloning,其他默认即可,此时该bucket就是一个带有版本控制功能的bucket
上传文件,看到上传成功。此时打开该本地文件,添加新的内容并保存,此时在上传该文件,可以看到文件的size发生变化,此时没有看到之前的版本,需要点击 显示版本 来查看,此时就可以查看到历史版本。注意有的版本被删除后,会产生 删除标记 ,实际上查看版本后发现源文件并未被删除,只有再次删除后才会彻底删除生效
与生命周期管理功能结合使用
准备一个html文件,创建一个bucket,注意取消组织所有公开访问选项,否则无法通过网页访问,将网页文件上传
注意上传文件时,需要授予其被公开访问的权限
在bucket的属性里打开网站托管功能
此时进入该bucket的属性中的静态网站托管处中,复制url,将其在网页中打开,就可以看到刚才上传的页面
进入s3界面,创建一个默认bucket即可,将网页内容上传,此时是无法访问该文件的
进入services,寻找CloudFront,进入界面,点击创建,选择web处的按钮,会进入一个界面,在odn处,选择创建的bucket的名称,rba选yes,oai处选第一个,在comment处自定义名称,grpob选yes,下面的vpp处选择rhth(将http重定向到https),其他选项均默认即可,create即可
点击左侧导航栏的distributions,等待status处状态更新完成。点击左侧导航栏的origin access identify 就可以看到刚才创建的用户id等内容
回到s3界面,进入bucket的permission,进入存储桶策略处,就可以看到自动生成了规则,注意下面的OAI id 与在cloudfront处生成的一致
当distributions的状态完成后,表头里面会有一个domain name,这是自动分配的域名。在网址处输入“https://生成的域名/index.html",即可访问到该网页
此时回到s3依然无法打开该文件,该文件依旧是私有的状态,如此便实现了s3网站托管与CDN结合实现https访问的目的
清理实验环境,避免收取费用。进入CloudFront,勾选需要清理的设置,点击disable。disable后等待一会
再次勾选点击删除即可
概念:用于对长距离的文件传输进行加速,可用于下载或上传,传输加速是以bucket为单位进行配置的,注意bucket有一个限制(bucket的名字不可以包含‘.’)。一般来说,在上传文件到S3存储桶的时候,是直接通过Internet将数据传输到位于某一个区域的S3存储桶。但如果存储桶位于一个离用户比较远的区域(比如说S3存储桶位于东京区域,而我们的用户位于中国),那么基于Internet的传输速度就会非常慢。这个时候使用S3传输加速 ,可以利用AWS CloudFront CDN网络的边缘节点(Edge Locations)加速传输的过程。我们可以将数据上传到离我们最近的边缘节点(比如说香港),然后再通过AWS内部网络(更高速,更稳定)传输到东京区域的S3存储桶。
使用场景
实验:
开启bucket的版本控制,再创建一个另外区域的bucket,其他选项默认即可
创建复制规则。此时再重新进入management中的replication,就可以看到一条复制规则
上传一个文件,再进入目的桶查看,可以看到文件同时也复制到了这个桶
将源桶中的文件删除,可以看到该文件被标记为delete marker。此时去目的桶中查看,该被标记的文件并不会被同步
Snowball 是一种 PB 级【k–> M–>G–>T–>P】数据传输解决方案,旨在使用安全设备将大量数据传入和传出亚马逊 AWS。通过使用 Snowball 服务,你可以将 PB 级别的分析数据、基因组数据、视频库等数据简单地、快速地、安全地传送到 AWS 的数据中心去,并且花费低至使用高速互联网的五分之一
数据的导入导出有几种不同类型的设备。
snowball的特点
使用场景
申请步骤:
AWS Storage Gateway 是一种具有无缝本地集成和优化数据传输的混合云存储方案。你本地数据中心内的服务器可以通过 AWS Storage Gateway 连接访问 Amazon S3、Amazon Glacier、Amazon EBS 等 AWS 存储服务
来进行备份、存档、灾难恢复、数据迁移等等。在任何类型的网关设备与 AWS 存储之间传输的所有数据均已使用 SSL 进行了加密。AWS Storage Gateway 已作为硬件设备提供
概念:用于整合本地IT环境和AWS存储的一项服务,该服务的关键就是一台虚拟的存储网关,可将本地的存储与aws的存储打通,使得客户可以使用s3的功能达到数据可靠的预期,如下图所示
存储网关的三种形式
文件网关:通过nfs/smb协议将文件系统分享给应用服务器的虚拟设备。当存储网关将数据分享给服务器后,服务器会读写数据,存储网关再将数据传输到S3的bucket中,下图是文件网关的架构。注意不能使用文件网关将文件写入EFS
卷网关:其存储设备是以块存储的形式分享给服务器使用,使用 iSCSI 作为本地磁盘连接到本地服务器上,让本地服务器可以访问到 Amazon S3 内的文件(iscsi同nfs一样,都是为实现共享),它主要有两种不同形式的架构
缓存卷架构:在这种架构中,S3是主要的存储,本地的存储网关挂载的卷来自于本地的存储设备,主要是作为一个缓存设备(缓存s3中常用的数据到本地挂载的卷中),本地卷最大是32T,并通过ISCSI协议分享给本地服务器,当服务器对数据卷进行读写后,将数据缓存同时通过upload buffer传到s3上,s3做好快照后,再传到s3上。也就是说,所有的数据都会保存到S3,但是会将最经常访问的数据缓存到本地
存储卷架构:它与缓存卷架构最大的区别在于s3处主要是用来备份数据的存储设备,主要的存储是本地的卷,本地的存储会传输到存储网关,然后通过ISCSI协议发送到服务器。而数据的读写主要发生在存储网关,在本地快照好后,传到s3中存储快照。也就是说所有的数据都将保存到本地,但是会异步地将数据备份到AWS S3上
磁带网关:在这种模式的架构中,虚拟网关主要是作为虚拟磁带库使用,每个网关预配置虚拟机械手和磁带机
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。