当前位置:   article > 正文

AWS亚马逊S3云储存怎么批量上传文件夹?用Python吧!

亚马逊服务器上传文件有工具吗

AWS S3 在浏览器没有拖动文件夹上传的功能,手动维护文件实在是太过辛苦了,用Python API吧!

AWS S3 才是当今世界上最大的云存储。虽然 S3 服务的对象多为企业用户,你同样可以使用它搭建个人云存储平台。在这篇文章中,我们来看看 S3 API 的配置,以及如何使用 s3cmd 工具与 S3 存储服务交互。

S3 的特性和价格

S3 不是会员制的订阅服务,而是像水电一样按使用量计费。费用主要由两个部分组成:

  1. $0.023 每 GB 的存储费,这一部分按月收取。
  2. $0.09 每 GB 的下载费。

与其它云储存服务相比,S3 最大的优势在于靠谱。官方宣称 S3 数据的完整性(不会丢失和破坏)可达小数点后 12 个 9。与百度网盘等免费存储服务相比,S3 没有政策风险,不会有人检查和删除你的数据,也不会有限速和强制安装客户端之类的事情。与 Dropbox / iCloud 等订阅存储服务相比,S3 按需付费的机制在一些情形下更为廉价。S3 便捷和不受限制的共享能力也是一个加分项。

API 配置

每个 AWS 账户可以创建不超过 100 个 S3 存储筐 (bucket)。每个 bucket 的名字都是全球唯一的。在一个 bucket 里面,你可以创建任意多的文件夹,上传和下载文件。这一切操作都可以在浏览器中进行,就像用浏览器打开了一个云端的资源管理器一样。不过,手动维护文件实在是太过辛苦了。我们需要一个能够自动化同步的工具,而 API 的协助是必不可少的。

AWS 使用 IAM (Identity and Access Management) 服务来管理所有 API 的使用。我们要在 IAM 中创建一个独立的“用户”,添加 S3 所需的权限,并获取 access key 和 secret key。下面是图解的详细操作流程:

在 AWS 服务列表中搜索 IAM

进入 IAM 主页,点击左侧的 Users 选项

添加一个新用户

指定用户名,并开启应用程序访问

为用户添加 S3 完全访问权限

回顾当前的设定

下载当前用户的 access key 和 secret key

创建用户时,你只有一次机会查看和下载 secret key。所以请务必下载 csv 文件,并存放在一个安全的地方。如果 secret key 丢失或被盗用,你可以吊销当前的 key 并重新生成一个 access key - secret key 密钥对。

现在你已经拥有了一个可以控制 S3 的用户,并获取了调用 API 所需的 access key 和 secret key。下面就可以使用 s3cmd 工具管理你的存储空间了。

s3cmd 工具的配置和使用

s3cmd 是一个强大的 S3 交互工具。它由 Python 写成,可以通过 pip 安装到个人电脑上。

pip install s3cmd

第一次使用 s3cmd 前,需要先填写必要的信息。运行 s3cmd --configure ,填入 csv 文件中的 access key 和 secret key,其余选项通常可以使用默认设定。设置结束后,在 $HOME 目录下会出现一个 .s3cfg 文件,里面存储了所有的设置信息。你可以使用文本编辑器进一步修改它。

下面列举了 s3cmd 的基本操作。

创建一个 bucket

s3cmd mb s3://bucket-name

显示所有已创建的 bucket

s3cmd ls

显示一个 bucket 中的内容

# 只显示根目录下的文件和文件夹
s3cmd ls s3://bucket-1

# 显示所有文件和文件夹
# -r 可以用 --recursive 代替,下同
s3cmd ls -r s3://bucket-1
s3cmd la s3://bucket-1

上传文件

# 上传单个文件
s3cmd put file-1 s3://bucket-1/dir-1/file-1

# 上传整个文件夹
# dir-1 将存放在 dir-2 之下
s3cmd put -r dir-1 s3://bucket-1/dir-2/

# 与 put -r 类似
# 但只上传已修改的文件
# 相当于 Linux 中的 rsync
s3cmd sync dir-1 s3://bucket-1/dir-2/

下载文件

# 下载单个文件
s3cmd get s3://bucket-1/dir-1/file-1 file-1

# 下载整个文件夹
# 将在当前路径创建 dir-1 文件夹
s3cmd get -r s3://bucket-1/dir-1

# 下载整个文件夹
# 直接下载内容,不创建 dir-1 文件夹
s3cmd get -r s3://bucket-1/dir-1/

复制文件

# 复制单个文件
s3cmd cp s3://bucket-1/file-1 s3://bucket-2/file-2

# 复制整个文件夹的内容
s3cmd cp s3://bucket-1/dir-1/ s3://bucket-2/dir-2/

移动文件

# 移动单个文件
s3cmd mv s3://bucket-1/file-1 s3://bucket-2/file-2

# 移动整个文件夹的内容
s3cmd mv s3://bucket-1/dir-1/ s3://bucket-2/dir-2/

删除文件

# 删除单个文件
s3cmd rm s3://bucket-1/file-1

# 删除整个文件夹
s3cmd rm -r s3://bucket-1/dir-1/

删除 bucket

# 删除一个空的 bucket
s3cmd rb s3://bucket-1

# 删除 bucket 和其中的所有内容
s3cmd rb --force s3://bucket-1

转载于:https://my.oschina.net/afengzxf/blog/1813296

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/羊村懒王/article/detail/285782
推荐阅读
相关标签
  

闽ICP备14008679号