devbox
你好赵伟
这个屌丝很懒，什么也没留下！
关注作者
热门标签
热门文章
当前位置:   article > 正文

Springboot对接ceph集群以及java利用s3对象网关接口与ceph集群交互_ceph java

作者：你好赵伟 | 2024-05-12 15:57:58

赞

踩

ceph java

springboot中引入相关依赖

  1.         <dependency>
  2.             <groupId>software.amazon.awssdk</groupId>
  3.             <artifactId>regions</artifactId>
  4.             <version>2.22.13</version>
  5.         </dependency>
  6.         <dependency>
  7.             <groupId>software.amazon.awssdk</groupId>
  8.             <artifactId>eksauth</artifactId>
  9.             <version>2.22.13</version>
  10.         </dependency>
  11.         <!-- https://mvnrepository.com/artifact/software.amazon.awssdk/s3 -->
  12.         <dependency>
  13.             <groupId>software.amazon.awssdk</groupId>
  14.             <artifactId>s3</artifactId>
  15.             <version>2.22.12</version>
  16.             <scope>test</scope>
  17.         </dependency>
  18.         <dependency>
  19.             <groupId>software.amazon.awssdk</groupId>
  20.             <artifactId>s3</artifactId>
  21.             <version>2.22.12</version>
  22.             <scope>compile</scope>
  23.         </dependency>

然后java代码，一些相关注意的事项都在代码里有标出。

  1. import java.net.URI;
  2. import java.net.URISyntaxException;
  3. import java.nio.ByteBuffer;
  4. import java.nio.file.Paths;
  5. import java.util.List;
  6. import java.util.ListIterator;
  7. import java.time.Duration;
  8.  
  9. import software.amazon.awssdk.auth.credentials.AwsCredentials;
  10. import software.amazon.awssdk.auth.credentials.AwsBasicCredentials;
  11. import software.amazon.awssdk.auth.credentials.StaticCredentialsProvider;
  12. import software.amazon.awssdk.core.sync.RequestBody;
  13. import software.amazon.awssdk.regions.Region;
  14. import software.amazon.awssdk.services.s3.S3Client;
  15. import software.amazon.awssdk.services.s3.model.Bucket;
  16. import software.amazon.awssdk.services.s3.model.ListBucketsResponse;
  17. import software.amazon.awssdk.services.s3.model.ListObjectsResponse;
  18. import software.amazon.awssdk.services.s3.model.ObjectCannedACL;
  19. import software.amazon.awssdk.services.s3.model.S3Exception;
  20. import software.amazon.awssdk.services.s3.model.S3Object;
  21. import software.amazon.awssdk.services.s3.presigner.S3Presigner;
  22. import software.amazon.awssdk.services.s3.presigner.model.PresignedGetObjectRequest;
  23.  
  24.  
  25. /**
  26.  * @author 忆林pp
  27.  * @className: Ceph_upload_test
  28.  * @description: 测试对接ceph数据库
  29.  * @date 2024/1/10 10:44
  30.  * @version：1.0
  31.  */
  32. public class Ceph_upload_test {
  33.     public static void main(String[] args) throws Exception{
  34.  
  35.  
  36.         /**
  37.          * 使用客户端构建器创建 S3 客户端：
  38.          */
  39.         //这里的这两个密钥要去自己的对象网关那里看，关于用户信息，如果没有创建一个即可
  40.         String accessKey="W3VQYUV72ZPFRWI0DIJL";
  41.         String secretKey="CQoJOXUHWZNM4qsv5G9JkrR8TIZFDYvkRdmm06N3";
  42.         AwsBasicCredentials credentials = AwsBasicCredentials.create(accessKey, secretKey);
  43.  
  44.         S3Client client = S3Client.builder()
  45.                 //你后端部署的对象网关的地址，这里我填的是内网地址，端口为对象网关默认的端口
  46.                 .endpointOverride(new URI("http://192.168.78.140:7480"))
  47.                 .credentialsProvider(StaticCredentialsProvider.create(credentials))
  48.                 .serviceConfiguration(srvcConf -> {
  49.                     srvcConf.pathStyleAccessEnabled();
  50.                 })
  51.                 .region(Region.US_EAST_1) // this is not used, but the AWS SDK requires it
  52.                 .build();
  53.         /**
  54.          * 列出拥有的存储桶
  55.          */
  56.         ListBucketsResponse lbResponse = client.listBuckets();
  57.         for (Bucket bucket : lbResponse.buckets()) {
  58.             System.out.println(bucket.name() + "\t" + bucket.creationDate());
  59.         }
  60. //        输出示范
  61. //        mahbuckat1    2021-09-20T14:12:57.231Z
  62. //        mahbuckat2    2021-09-20T14:12:59.402Z
  63. //        mahbuckat3    2021-09-20T14:13:02.288Z
  64.  
  65.         /**
  66.          * 创建存储桶
  67.          */
  68.         client.createBucket(req -> {
  69.             req.bucket("my-new-bucket");
  70.         });
  71.         /**
  72.          * 列出存储桶的内容
  73.          */
  74.         ListObjectsResponse loResponse = client.listObjects(req -> {
  75.             req.bucket("s3cmd-demo");
  76.         });
  77.  
  78.         for (S3Object object : loResponse.contents()) {
  79.             System.out.println(
  80.                     object.key() + "\t" +
  81.                             object.size() + "\t" +
  82.                             object.lastModified()
  83.             );
  84.         }
  85. //        输出示例
  86. //        myphoto1.jpg 251262  2021-09-20T17:47:07.317Z
  87. //        myphoto2.jpg 262518  2021-09-20T17:49:46.872Z
  88.         /**
  89.          * 删除存储桶
  90.          * 注意：桶必须是空的！否则就行不通了！
  91.          */
  92.         client.deleteBucket(req -> {
  93.             req.bucket("my-new-bucket");
  94.         });
  95.         /**
  96.          * 创建对象
  97.          * 这将创建一个包含字符串的文件hello.txt"Hello World!"
  98.          * 大致为生产环境的文件上传！！！！！
  99.          */
  100.         ByteBuffer input = ByteBuffer.wrap("Hello World!".getBytes());
  101.         client.putObject(
  102.                 req -> {
  103.                     req.bucket("s3cmd-demo").key("hello.txt");
  104.                 },
  105.                 RequestBody.fromByteBuffer(input)
  106.         );
  107.  
  108.         /**
  109.          * 更改对象的 ACL
  110.          * 文件的限定权限
  111.          */
  112.         client.putObjectAcl(req -> {
  113.             req.bucket("s3cmd-demo").key("hello.txt").acl(ObjectCannedACL.PUBLIC_READ);
  114.         });
  115.         client.putObjectAcl(req -> {
  116.             req.bucket("s3cmd-demo").key("secret_plans.txt").acl(ObjectCannedACL.PRIVATE);
  117.         });
  118.  
  119.  
  120.         /**
  121.          * 下载对象（到文件）
  122.          * 这个要指定到指定文件名进行覆盖。（这个文件应该是不存在的，它这里会自动创建，如果存在会报文件存在异常
  123.          * 这个地方的下载文件不建议用在生产环境的对象下载，因为这里的机制我是这样理解的：（仅供参考！！！）
  124.          *      ：这里首先你的ceph桶必须得存在，其次相对应得对象也必须得存在，
  125.          *      其次你的本地下载地址中应该没有重名文件，然后这段语句他执行得时候会将
  126.          *      你的ceph桶对象得数据直接创建一个空文件然后复写进你这个对应得空文件中！
  127.          *      因为这里要指定到对应的文件路径，所以我觉得这里很蠢，在真实使用中非常不灵活!!!（个人想法，不喜勿喷！！！）
  128.          */
  129.         client.getObject(
  130.                 req -> {
  131.                     req.bucket("s3cmd-demo").key("6.txt");
  132.                 },
  133.                 Paths.get("E:\\download\\6.txt")
  134.         );
  135.         /**
  136.          * 删除对象
  137.          */
  138.         client.deleteObject(req -> {
  139.             req.bucket("s3cmd-demo").key("goodbye.txt");
  140.         });
  141.         /**
  142.          * 生成对象下载 URL（已签名和未签名）
  143.          * 我的预想是这里将这个生成的对应的文件连接返回给客户端，然后这里在前端给一个重定向，将这个下载任务甩锅给
  144.          * 客户端的游览器，由客户端请求ceph资源，这样的话，后端就不用做下载管理了，下载任务直接对接ceph的集群，减轻后端负担！！！
  145.          */
  146.         S3Presigner presigner = S3Presigner.builder()
  147.                 //这里同样得需要对应得后端对象网关得地址，http或者https都可以
  148.                 .endpointOverride(new URI("http://192.168.78.140:7480"))
  149.                 .credentialsProvider(StaticCredentialsProvider.create(credentials))
  150.                 .region(Region.US_EAST_1) // this is not used, but the AWS SDK requires it
  151.                 .build();
  152.  
  153.         PresignedGetObjectRequest presignedRequest = presigner.presignGetObject(preReq -> {
  154.             preReq.getObjectRequest(req -> {
  155. //                req.bucket("s3cmd-demo").key("secret_plans.txt");
  156.                 req.bucket("s3cmd-demo").key("旺仔小乔 - 梨花香.mp3");
  157.             }).signatureDuration(
  158.                     Duration.ofMinutes(20)
  159.             );
  160.         });
  161.         System.out.println(presignedRequest.url());
  162.  
  163. //        输出示例
  164. //        https://endpoint.com/my-bucket/secret_plans.txt?X-Amz-Algorithm=AWS4-HMAC-SHA256&X-Amz-Date=20210921T151408Z&X-Amz-SignedHeaders=host&X-Amz-Expires=1200&X-Amz-Credential=XXXXXXXXXXXX%2F20210921%2Fus-east-1%2Fs3%2Faws4_request&X-Amz-Signature=yyyyyyyyyyyyyyyyyyyyyy
  165.  
  166.  
  167.  
  168.     }
  169. }

相关资源参考：

Java S3 示例 — Ceph 文档

本文内容由网友自发贡献，转载请注明出处：https://www.wpsshop.cn/w/你好赵伟/article/detail/559650
推荐阅读
相关标签

Copyright © 2003-2013 www.wpsshop.cn 版权所有，并保留所有权利。

  

闽ICP备14008679号