AWS S3 在浏览器没有拖动文件夹上传的功能,手动维护文件实在是太过辛苦了,用Python API吧!
AWS S3 才是当今世界上最大的云存储。虽然 S3 服务的对象多为企业用户,你同样可以使用它搭建个人云存储平台。在这篇文章中,我们来看看 S3 API 的配置,以及如何使用 s3cmd
工具与 S3 存储服务交互。
S3 的特性和价格
S3 不是会员制的订阅服务,而是像水电一样按使用量计费。费用主要由两个部分组成:
- $0.023 每 GB 的存储费,这一部分按月收取。
- $0.09 每 GB 的下载费。
与其它云储存服务相比,S3 最大的优势在于靠谱。官方宣称 S3 数据的完整性(不会丢失和破坏)可达小数点后 12 个 9。与百度网盘等免费存储服务相比,S3 没有政策风险,不会有人检查和删除你的数据,也不会有限速和强制安装客户端之类的事情。与 Dropbox / iCloud 等订阅存储服务相比,S3 按需付费的机制在一些情形下更为廉价。S3 便捷和不受限制的共享能力也是一个加分项。
API 配置
每个 AWS 账户可以创建不超过 100 个 S3 存储筐 (bucket)。每个 bucket 的名字都是全球唯一的。在一个 bucket 里面,你可以创建任意多的文件夹,上传和下载文件。这一切操作都可以在浏览器中进行,就像用浏览器打开了一个云端的资源管理器一样。不过,手动维护文件实在是太过辛苦了。我们需要一个能够自动化同步的工具,而 API 的协助是必不可少的。
AWS 使用 IAM (Identity and Access Management) 服务来管理所有 API 的使用。我们要在 IAM 中创建一个独立的“用户”,添加 S3 所需的权限,并获取 access key 和 secret key。下面是图解的详细操作流程:
在 AWS 服务列表中搜索 IAM
进入 IAM 主页,点击左侧的 Users 选项
添加一个新用户
指定用户名,并开启应用程序访问
为用户添加 S3 完全访问权限
回顾当前的设定
下载当前用户的 access key 和 secret key
创建用户时,你只有一次机会查看和下载 secret key。所以请务必下载 csv 文件,并存放在一个安全的地方。如果 secret key 丢失或被盗用,你可以吊销当前的 key 并重新生成一个 access key - secret key 密钥对。
现在你已经拥有了一个可以控制 S3 的用户,并获取了调用 API 所需的 access key 和 secret key。下面就可以使用 s3cmd
工具管理你的存储空间了。
s3cmd 工具的配置和使用
s3cmd
是一个强大的 S3 交互工具。它由 Python 写成,可以通过 pip 安装到个人电脑上。
pip install s3cmd
第一次使用 s3cmd
前,需要先填写必要的信息。运行 s3cmd --configure
,填入 csv 文件中的 access key 和 secret key,其余选项通常可以使用默认设定。设置结束后,在 $HOME
目录下会出现一个 .s3cfg
文件,里面存储了所有的设置信息。你可以使用文本编辑器进一步修改它。
下面列举了 s3cmd
的基本操作。
创建一个 bucket
s3cmd mb s3://bucket-name
显示所有已创建的 bucket
s3cmd ls
显示一个 bucket 中的内容
# 只显示根目录下的文件和文件夹 s3cmd ls s3://bucket-1 # 显示所有文件和文件夹 # -r 可以用 --recursive 代替,下同 s3cmd ls -r s3://bucket-1 s3cmd la s3://bucket-1
上传文件
# 上传单个文件 s3cmd put file-1 s3://bucket-1/dir-1/file-1 # 上传整个文件夹 # dir-1 将存放在 dir-2 之下 s3cmd put -r dir-1 s3://bucket-1/dir-2/ # 与 put -r 类似 # 但只上传已修改的文件 # 相当于 Linux 中的 rsync s3cmd sync dir-1 s3://bucket-1/dir-2/
下载文件
# 下载单个文件 s3cmd get s3://bucket-1/dir-1/file-1 file-1 # 下载整个文件夹 # 将在当前路径创建 dir-1 文件夹 s3cmd get -r s3://bucket-1/dir-1 # 下载整个文件夹 # 直接下载内容,不创建 dir-1 文件夹 s3cmd get -r s3://bucket-1/dir-1/
复制文件
# 复制单个文件 s3cmd cp s3://bucket-1/file-1 s3://bucket-2/file-2 # 复制整个文件夹的内容 s3cmd cp s3://bucket-1/dir-1/ s3://bucket-2/dir-2/
移动文件
# 移动单个文件 s3cmd mv s3://bucket-1/file-1 s3://bucket-2/file-2 # 移动整个文件夹的内容 s3cmd mv s3://bucket-1/dir-1/ s3://bucket-2/dir-2/
删除文件
# 删除单个文件 s3cmd rm s3://bucket-1/file-1 # 删除整个文件夹 s3cmd rm -r s3://bucket-1/dir-1/
删除 bucket
# 删除一个空的 bucket s3cmd rb s3://bucket-1 # 删除 bucket 和其中的所有内容 s3cmd rb --force s3://bucket-1