devbox
我家自动化
这个屌丝很懒，什么也没留下！
关注作者
热门标签
热门文章
当前位置:   article > 正文

容器化管理平台存储那点事

作者：我家自动化 | 2024-03-14 01:01:45

赞

踩

debian没有xfs命令

2019独角兽企业重金招聘Python工程师标准>>> hot3.png

以 Docker 为代表的容器技术在云计算领域正扮演着越来越重要的角色，甚至一度被认为是虚拟化技术的替代品。企业级的容器应用常常需要将重要的数据持久化，方便在不同容器间共享。为了能够持久化数据以及共享容器间的数据，Docker 提出了 Volume 的概念。单机环境的数据卷难以满足 Docker 集群化的要求，因此需要引入分布式文件系统。目前开源的分布式文件系统有许多，例如 GFS，Ceph，HDFS，FastDFS，GlusterFS 等。

应用场景

正常安装环境下云帮需要一个分布式文件系统，社区版默认使用NFS作为共享存储,如果你的环境中有分布式文件存储系统，需要使用dc-ctl set storage --mode custom 命令安装存储管理服务，然后再将你系统中的分布式存储挂载到 /grdata 目录。GlusterFS 支持文件接口， Ceph 支持块，文件，对象接口 本文的应用场景主要针对云帮如何使用GlusterFS，后期会介绍云帮如何支持块存储。

GlusterFS介绍

GlusterFS是一个开源的分布式文件系统，它可以将分散的存储空间聚合在一起，形成一个虚拟的存储池。它支持横向扩展(Scale-Out)，可通过增加存储节点来提升整个系统的容量或性能，存储容量可扩展至PB级。这一扩展机制是目前的存储技术热点，能有效应对容量、性能等存储需求。GlusterFS除了支持分散存储(Distributed,将不同的文件放在不同的存储节点)之外，还支持镜像存储(Replicated,同一个文件存放在两个以上的存储节点) 和分片存储(Stripped,将一个文件分划分为多个固定长度的数据，分散存放在所有存储节点)，其总体架构如下所示： 20170505149395172349361.png

安装GlusterFS

集群环境
  • 安装GlusterFS 至少需要2个节点，在本例中我们成为gfs01，gfs02，
  • 需要这两台机器可以通过网络互相连接
  • 两个节点的系统中必须包含2块磁盘，假设sda作为系统盘，那么sdb则作为GlusterFS的存储盘

<b>注意</b>：GlusterFS会将集群的动态配置信息存放到/var/lib/glusterd文件中，需要确保这个文件可以写入，否则集群可能会发生问题，甚至下线，因此，需要确保系统某有足够的空间，不要让磁盘写满。

机器配置

主机名IP地址说明
gfs01172.16.0.151存储节点01
gfs02172.16.0.150存储节点01
client172.16.0.152测试挂载的机器
格式化和挂载磁盘

主要目的就是将磁盘格式化为xfs，作为glusterfs的底层存储文件系统.

(2个节点都需要执行): 注意: 这个示例是以/dev/sdb作为数据磁盘。 如果是Debian/Ubuntu系统可能没有mkfs.xfs命令,需要手动执行安装 apt-get install -y xfsprogs

  1. mkfs.xfs -i size=512 /dev/sdb
  2. mkdir -p /grdata
  3. echo '/dev/sdb /grdata xfs defaults 1 2' >> /etc/fstab
  4. mount -a && mount

命令执行完成后，你可以看到 /dev/sdb被挂载到了 /grdata 目录下。

  1. root@gfs01:~# df -h
  2. ...
  3. /dev/sdb         97M  5.2M   92M   6% /grdata
安装Glusterfs
  • Debian8
  1. #add GPG key
  2. wget -O - http://download.gluster.org/pub/gluster/glusterfs/3.8/LATEST/rsa.pub | apt-key add -
  3. #add source
  4. echo deb http://download.gluster.org/pub/gluster/glusterfs/3.8/LATEST/Debian/jessie/apt jessie main > /etc/apt/sources.list.d/gluster.list
  5. #update package
  6. apt-get update
  7. #install
  8. apt-get install -y glusterfs-server
  • CentOS
  1.  yum install centos-release-gluster38
  2.  yum makechche
  3.  yum install glusterfs-server
  • Ubuntu 14
  1. sudo apt-get install software-properties-common
  2. sudo add-apt-repository ppa:gluster/glusterfs-3.8
  3. sudo apt-get update
  4. sudo apt-get install glusterfs-server
启动GlusterFS管理服务
Ubuntu/Debian启动
  1. service glusterfs-server start
  2. service glusterfs-server status
Centos启动
  1. service glusterd start
  2. service glusterd status
  3.     glusterd.service - LSB: glusterfs server
  4.            Loaded: loaded (/etc/rc.d/init.d/glusterd)
  5.        Active: active (running) since Mon, 13 Aug 2012 13:02:11 -0700; 2s ago
  6.       Process: 19254 ExecStart=/etc/rc.d/init.d/glusterd start (code=exited, status=0/SUCCESS)
  7.        CGroup: name=systemd:/system/glusterd.service
  8.            ├ 19260 /usr/sbin/glusterd -p /run/glusterd.pid
  9.            ├ 19304 /usr/sbin/glusterfsd --xlator-option georep-server.listen-port=24009 -s localhost...
  10.            └ 19309 /usr/sbin/glusterfs -f /var/lib/glusterd/nfs/nfs-server.vol -p /var/lib/glusterd/...
配置信任池(trusted pool)
  • 在gfs01执行
  gluster peer probe gfs02

注意: 当使用主机名时，需要确保两台机器之间都设置了主机名(ip也可以)。

  • 查看状态
  1. # gluster peer status
  2. Number of Peers: 1
  3.  
  4. Hostname: gfs02
  5. Uuid: c191b17b-ab9d-4b15-a70d-dcc92be067c9
  6. State: Peer in Cluster (Connected)

**注意：**一旦存储池建立之后，只有池中的信任成员可以添加新的节点，新服务器不能从外部加入到已经存在的池

逻辑卷问题

逻辑卷由一个或多个存储块(Brick)组成，每个存储块对应存储池中的一个目录。 GlusterFS的基本类型有三个，分别是分散存储(Distributed,将不同的文件放在不同的存储块)、镜像存储(Replicated,同一个文件存放在两个以上的存储块，相当于RAID1) 和分片存储(Striped,将一个文件分划分为多个固定长度的数据，分散存放在所有存储块，相当于RAID0)。另外Distributed也可以跟Replicated和Striped组合形成新的类型。 这里简单介绍一些基本卷

distribute volume 分布式卷

基于 Hash 算法将文件分布到所有 brick server，只是扩大了磁盘空间，不具备容错能力。由于distribute volume 使用本地文件系统，因此存取效率并没有提高，相反会因为网络通信的原因使用效率有所降低，另外本地存储设备的容量有限制，因此支持超大型文件会有一定难度。 20170505149395226653345.jpg

stripe volume 条带卷

类似 RAID0，文件分成数据块以 Round Robin 方式分布到 brick server 上，并发粒度是数据块，支持超大文件，大文件的读写性能高。 20170505149395229346878.jpg

replica volume 复制卷

文件同步复制到多个 brick 上，文件级 RAID1，具有容错能力，写性能下降，读性能提升。Replicated 模式，也称作 AFR（Auto File Replication），相当于 RAID1，即同一文件在多个镜像存储节点上保存多份，每个 replicated 子节点有着相同的目录结构和文件，replica volume 也是在容器存储中较为推崇的一种 2017050514939523278356.jpg

设置GlusterFS逻辑卷

gfs01和gfs02都需要执行

  1. #这里跳过，已经建立了
  2. mkdir -p /grdata/

随便在一台机器上执行

  1.  
  2. root@gfs01:~# gluster volume create gv0 replica 2 gfs01:/grdata/ gfs02:/grdata/
  3. volume create: gv0: success: please start the volume to access data
  4. # 使用Replicated的方式，建立一个名为gv0的卷(Volume)，存储块(Brick)为2个，分别为gfs01:/grdata和gfs02:/grdata。

启用逻辑卷

  1. root@gfs01:~# gluster volume start gv0
  2. volume start: gv0: success

查看逻辑卷状态，确认状态为 “Started”

  1. root@gfs01:~# gluster volume info
  2. Volume Name: gv0
  3. Type: Replicate
  4. Volume ID: fde79f7d-294b-4eea-ac95-73bba9f24435
  5. Status: Started
  6. Snapshot Count: 0
  7. Number of Bricks: 1 x 2 = 2
  8. Transport-type: tcp
  9. Bricks:
  10. Brick1: 172.16.0.151:/grdata
  11. Brick2: 172.16.0.150:/grdata
  12. Options Reconfigured:
  13. transport.address-family: inet
  14. performance.readdir-ahead: on
  15. nfs.disable: on

注意：如果存储卷没有启动，需要/var/log/glusterfs 目录查看日志，文件通常是 glusterfs-glusterd.vol.log

相关命令
  1. 1.创建信任存储池(如要创建一个包含3个服务器的存储池，则需要从第一个服务器server1中把另外两个服务器加入存储池中)
  2.   # gluster peer probe server2
  3.   Probe successful
  4.  
  5.   # gluster pool peer server3
  6.   Probe successful
  7. 2.查看存储池状态
  8.   # gluster peer status
  9.   Number of Peers: 2
  10.  
  11.   Hostname: 172.16.0.151
  12.   Uuid: 86bd7b96-1320-4cd5-b3e1-e537d06dd5f7
  13.   State: Peer in Cluster (Connected)
  14.  
  15.   Hostname: 172.16.0.150
  16.   Uuid: c191b17b-ab9d-4b15-a70d-dcc92be067c9
  17.   State: Peer in Cluster (Connected)
  18. 3.从存储池移除服务器
  19.   # gluster peer detach 172.16.0.150
  20.   Detach successful
  21. 4.逻辑卷管理
  22.   gluster volume delete/stop/start 逻辑卷名(gv0)
  23. 5.逻辑卷中新增存储块(操作存储块后都需要执行gluster volume rebalance gv0 start重建数据)
  24.   gluster volume add-brick/remove-brick gv0 gfs03:/grdata
测试GlusterFS存储卷

在这一步中，我们使用client这台机器来挂载GlusterFS的存储卷进行测试。这台机器需要安装GlusterFS的client端程序，这里我们只使用client机器进行挂载和文件读写测试。

  1. # 安装GlusterFS client程序
  2. ### CentOS / RHEL ###
  3. yum install -y glusterfs-client
  4.  
  5. ### Ubuntu / Debian ###
  6. apt-get install -y glusterfs-client
  7.  
  8.  
  9. # 将GlusterFS 存储卷挂载到/mnt
  10. mount -t glusterfs 172.16.0.151:/gv0 /grdata
  11. df -h
  12. 172.16.0.151:/gv0   97M  5.4M   92M   6% /grdata
  13. # 确认挂载结果
  14. mount -t fuse.glusterfs
  15. 172.16.0.151:/gv0 on /grdata type fuse.glusterfs (rw,relatime,user_id=0,group_id=0,default_permissions,allow_other,max_read=131072)
  16. # 重启自动挂载 在／etc／fstab
  17. 172.16.0.151:/grdata /grdata glusterfs defaults,_netdev 0 0
  18.  
  19. # 将/var/log/messages复制到存储卷，循环执行100次
  20. for i in `seq -w 1 100`; do cp -rp /var/log/messages /grdata/copy-test-$i; done
  21.

先检查挂载点

ls -lA /mnt | wc -l

可以看到 100个文件，在每个存储节点查看挂载点信息

ls -lA /grdata

因为创建卷gv0的时候使用的是镜像存储(Replicated)，所以在gv0上写入的文件应该同时出现在两个服务器的/grdata目录上,你可以看到每台机器都有100个文件，如果集群不是复制模式，每台机器的存储文件应该各50

END

到这里关于GlusterFS介绍就到这里了。那么云帮如何配置呢，很简单第一步 dc-ctl set storage --mode custom，接着按照如上的操作将系统中的分布式存储挂载到 /grdata 目录即可。

转载于:https://my.oschina.net/zhouyq/blog/893249

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/我家自动化/article/detail/231592?site
推荐阅读
相关标签

Copyright © 2003-2013 www.wpsshop.cn 版权所有，并保留所有权利。

  

闽ICP备14008679号