一、原理介绍
BtrFS(B-tree文件系统,又称为Butter FS或Better FS),2007由oracle开源后,得到了IBM、intel等厂商的大力支持,其目标计划是替代linux目前的ext3/4,成为下一代linux标准的文件系统。
支持写时复制(CoW)、快照、在线扩容缩容、数据checksum、subvolume、磁盘阵列(raid)等,运行在linux上,并遵循GPL协议的强大文件系统。在2014年8月发布了稳定版。
其特性大致归纳为以下几点:
1.可扩展性
主要表现在两个方面:
1)ext系列文件系统使用块位图来保存每个块空闲与否的信息(每个块用一个位来表示是否空闲),当容量扩展时,块位图所占的空间会线性的增加,试想一下如果快位图变得很大时,那么查找空闲块就需要大量的时间;BtrFS管理磁盘空间的最小单位是extent,一个extent由一组连续的block组成,extent由extent树进行管理,因此相比ext系列10个块需要10个bit来表示,btrfs只需要一个extent就可以,因此减少了元数据的量。对于大文件,extent表现出更加优异的管理性能。
2)ext系统inode是预分配的且大小固定,比如,100G的分区中,inode table只能存放131072个inode,意味着不可能创建131072个文件;同时, inode分配过小,容易导致磁盘空间无法充分利用,过大,容易造成磁盘空间浪费;btrfs为了解决这个问题,使用了动态分配inode,如下图,每个inode只是FS tree中的一个节点,用户可以无限制地任意插入新的inode,其物理存储位置是动态分配的,所以没有对文件个数的限制。
FS Tree:管理文件相关的元数据,如inode、dir等
Chunk Tree:管理设备,每个磁盘设备都在Chunk Tree中有一个item
Extent Tree:管理磁盘空间的分配
checksum Tree:保存数据块的校验和
2.数据一致性的相关特性
btrfs的数据一致性是通过COW(Copy On Write)事务来保证的,所谓COW,即每次写磁盘数据时,先当前块数据复制到一个新块,然后在新块上进行更新写入,当新块写入完成时,只需将原来指向旧块的指针指向新块。
所谓的事务就是要保证一个操作的原子性(假设一个操作由多个步骤组成,只有所有步骤都成功这个操作才算成功,否则只要其中一个步骤失败,则整个操作失败,那么整个数据都要回滚到操作前的相同状态)
COW只能保证单一数据更新的原子性,但文件系统中很多操作需要更新多个不同的元数据,如何保证这些操作的原子性呢?下面以创建一个文件为例说明,创建一个文件需要设计到如下操作:
1) 修改extent数,分配一段磁盘空间
2) 创建一个新的inode,并插入到FS树
3) 增加一个目录项,插入到FS数
因此需要将上面的3个操作当成一个事务整体来处理,只要其中一个操作失败,文件便不能创建成功。过程如下:
A是FS树的根节点,新的inode信息将被插入节点C。首先,btrfs使用COW将inode插入一个新分配的C‘中,并修改上层节点B,使其指向新的C’,从而B也产生COW节点B‘,以此类推一直连锁反应到根节点A’,此时因为事务还没有完成,superblock依然指向A
修改目录项E,引发相同的过程
最后commit事务,superblock指向新块
假设上面某个过程操作失败或中途断电也不会影响superblock的原来指向,数据依然是操作前的状态,从而保证了事务的完整性和文件系统的一致性。
btrfs的另一特点是使用checksum来保证数据的可靠性,假设从磁盘读取一个块数据,可以通过比较其checksum来判断数据是否完整,其他文件系统在文件系统级别上是无法得知数据是否损坏的;同时由于checksum数据存储在checksum树的节点上,与块数据是分开管理的,这样的好处是能避免checksum和数据保存在同一个块的时候,文件系统上层获取了一个错误位置的块时无从得知(因为checksum只计算块数据是否完整而不是数据应该存在哪个块,只要块内数据并无损坏,checksum永远都是正确的)。
3.多设备管理及快照
btrfs可以跨越多个物理磁盘设备,动态的增加/减少设备来达到扩容/缩容的目的,技术上还支持(raid0、raid1、raid5、raid10等特性)
可以利用COW技术创建卷级别和文件级别的快照
支持在一个文件系统(或逻辑卷)上创建子卷,并没有层级限制,并且所有卷的空间大小都是可以动态调整的。其应用场景是可以为每个用户分配一个单独隔离的卷空间,来达到权限控制和配额管理的目的。理论部分就介绍那么多,下面咱们开始实战(操作基于centos7.2):
二、命令介绍与实战
1.命令介绍
btrfs文件系统使用btrfs命令来管理,其使用格式如下: btrfs <command> [<args>]<command>: balance: 用于均衡单个或多个设备间的chunk;以及转换其属性 check:用于离线检查 device:用于管理设备,包括设备的增加、删除、扫描等 filesystem:管理文件系统,包含标签设置/同步等 inspect-internal:给开发者用来调试的工具 property:获取和设置btrfs对象的属性 qgroup:管理配额组 quota:管理配额,如启动配额、重新扫描配置等 receive:还原时,用于从标准输入或file中接收子卷数据 replace:替换设备 rescue:尝试修复损坏的文件系统 restore:在文件系统非挂载状态下,尝试还原损坏的btrfs文件系统 scrub:用来修复文件系统错误的,会读取文件系统所有的数据以及其校验和 send:备份时,用于发送子卷数据到文件或标准输出 subvolume:创建、删除、列出、管理子卷或快照
2.命令实战
1)环境准备,添加3块磁盘/dev/sd{b,c,d}如下:
[root@centos7-template ~]# parted -l | grep -i '^disk /dev/sd.'Disk /dev/sda: 129GB Disk /dev/sdb: 21.5GB Disk /dev/sdc: 21.5GB Disk /dev/sdd: 21.5GB
2)创建btrfs文件系统
[root@centos7-template ~]# mkfs.btrfs -L "mydata" -d raid0 /dev/sd{b,c} btrfs-progs v3.19.1See http://btrfs.wiki.kernel.org for more information.Turning ON incompat feature 'extref': increased hardlink limit per file to 65536Turning ON incompat feature 'skinny-metadata': reduced-size metadata extent refs adding device /dev/sdc id 2fs created label mydata on /dev/sdb nodesize 16384 leafsize 16384 sectorsize 4096 size 40.00GiB
-L: 指定卷标-d:指定data profile,可选的profile为:raid0/1/5/6/10,dup,single
3)查看已创建的btrfs文件系统
[root@centos7-template ~]# btrfs filesystem showLabel: 'mydata' uuid: 7f0ca4e4-1823-4cf1-87d4-44a5190ed32a Total devices 2 FS bytes used 112.00KiB devid 1 size 20.00GiB used 2.03GiB path /dev/sdb devid 2 size 20.00GiB used 2.01GiB path /dev/sdc btrfs-progs v3.19.1[root@centos7-template ~]# blkid /dev/sdb /dev/sdc/dev/sdb: LABEL="mydata" UUID="7f0ca4e4-1823-4cf1-87d4-44a5190ed32a" UUID_SUB="f616f8a1-7fc1-433b-8377-9d598328cd5b" TYPE="btrfs" /dev/sdc: LABEL="mydata" UUID="7f0ca4e4-1823-4cf1-87d4-44a5190ed32a" UUID_SUB="ba63683b-3443-4627-bfe3-7908ee910b0c" TYPE="btrfs"
4)挂载btrfs文件系统,启用压缩功能
[root@centos7-template ~]# mount -t btrfs -o compress=lzo /dev/sdb /mnt [root@centos7-template ~]# df -Th 文件系统 类型 容量 已用 可用 已用% 挂载点/dev/mapper/centos_centos7--template-root xfs 50G 2.0G 48G 4% /devtmpfs devtmpfs 480M 0 480M 0% /devtmpfs tmpfs 489M 0 489M 0% /dev/shmtmpfs tmpfs 489M 6.7M 483M 2% /runtmpfs tmpfs 489M 0 489M 0% /sys/fs/cgroup/dev/mapper/centos_centos7--template-home xfs 68G 33M 68G 1% /home/dev/sda1 xfs 497M 123M 375M 25% /boottmpfs tmpfs 98M 0 98M 0% /run/user/0/dev/sdb btrfs 40G 17M 38G 1% /mnt
5)在线调整文件系统大小
[root@centos7-template ~]# btrfs filesystem resize -10G /mnt Resize '/mnt' of '-10G'[root@centos7-template ~]# df -Th 文件系统 类型 容量 已用 可用 已用% 挂载点/dev/mapper/centos_centos7--template-root xfs 50G 2.0G 48G 4% /devtmpfs devtmpfs 480M 0 480M 0% /devtmpfs tmpfs 489M 0 489M 0% /dev/shmtmpfs tmpfs 489M 6.7M 483M 2% /runtmpfs tmpfs 489M 0 489M 0% /sys/fs/cgroup/dev/mapper/centos_centos7--template-home xfs 68G 33M 68G 1% /home/dev/sda1 xfs 497M 123M 375M 25% /boottmpfs tmpfs 98M 0 98M 0% /run/user/0/dev/sdb btrfs 30G 17M 18G 1% /mnt[root@centos7-template ~]# btrfs filesystem resize +10G /mnt Resize '/mnt' of '+10G'[root@centos7-template ~]# df -Th 文件系统 类型 容量 已用 可用 已用% 挂载点/dev/mapper/centos_centos7--template-root xfs 50G 2.0G 48G 4% /devtmpfs devtmpfs 480M 0 480M 0% /devtmpfs tmpfs 489M 0 489M 0% /dev/shmtmpfs tmpfs 489M 6.7M 483M 2% /runtmpfs tmpfs 489M 0 489M 0% /sys/fs/cgroup/dev/mapper/centos_centos7--template-home xfs 68G 33M 68G 1% /home/dev/sda1 xfs 497M 123M 375M 25% /boottmpfs tmpfs 98M 0 98M 0% /run/user/0/dev/sdb btrfs 40G 17M 38G 1% /mnt
6)往当前btrfs文件系统添加设备,以达到在线扩容扩容目的
[root@centos7-template ~]# btrfs device add /dev/sdd /mnt#查看挂载点信息[root@centos7-template ~]# btrfs device usage -h /mnt/dev/sdb, ID: 1 Device size: 20.00GiB Data,RAID0: 1.00GiB Metadata,single: 8.00MiB Metadata,RAID1: 1.00GiB System,single: 4.00MiB System,RAID1: 8.00MiB Unallocated: 17.98GiB /dev/sdc, ID: 2 Device size: 20.00GiB Data,RAID0: 1.00GiB Metadata,RAID1: 1.00GiB System,RAID1: 8.00MiB Unallocated: 17.99GiB /dev/sdd, ID: 3 Device size: 20.00GiB Unallocated: 20.00GiB
7)执行chunk重新均衡
[root@centos7-template ~]# btrfs balance start /mntDone, had to relocate 5 out of 5 chunks
8)修改chunk的profile属性
[root@centos7-template ~]# btrfs balance start -f -mconvert=raid1 /mntDone, had to relocate 2 out of 3 chunks [root@centos7-template ~]# btrfs balance start -f -sconvert=raid1 /mnt Done, had to relocate 1 out of 3 chunks [root@centos7-template ~]# btrfs balance start -f -dconvert=raid1 /mnt Done, had to relocate 1 out of 3 chunks
9)输出btrfs文件系统简要信息
- [root@centos7-template ~]# btrfs filesystem df -h /mnt Data, RAID1: total=1.00GiB, used=512.00KiB
- System, RAID1: total=32.00MiB, used=16.00KiB
- Metadata, RAID1: total=1.00GiB, used=112.00KiB
- GlobalReserve, single: total=16.00MiB, used=0.00B
10)拆除设备
[root@centos7-template ~]# btrfs device delete /dev/sdd /mnt[root@centos7-template ~]# btrfs filesystem show /mntLabel: 'mydata' uuid: 7f0ca4e4-1823-4cf1-87d4-44a5190ed32a Total devices 2 FS bytes used 448.00KiB devid 1 size 20.00GiB used 1.28GiB path /dev/sdb devid 2 size 20.00GiB used 1.28GiB path /dev/sdc btrfs-progs v3.19.1
11)创建子卷
[root@centos7-template ~]# btrfs subvolume create /mnt/tmpCreate subvolume '/mnt/tmp'[root@centos7-template ~]# ls /mnttmp [root@centos7-template ~]# btrfs filesystem showLabel: 'mydata' uuid: 7f0ca4e4-1823-4cf1-87d4-44a5190ed32a Total devices 2 FS bytes used 464.00KiB devid 1 size 20.00GiB used 1.28GiB path /dev/sdb devid 2 size 20.00GiB used 1.28GiB path /dev/sdc btrfs-progs v3.19.1#查看子卷的摘要信息,此时可看到子卷的初始容量为1G[root@centos7-template ~]# btrfs filesystem df -h /mnt/tmpData, RAID1: total=1.00GiB, used=320.00KiB System, RAID1: total=32.00MiB, used=16.00KiB Metadata, RAID1: total=256.00MiB, used=128.00KiB GlobalReserve, single: total=16.00MiB, used=0.00B#查看子卷id及path[root@centos7-template ~]# btrfs subvolume list /mnt/tmpID 263 gen 67 top level 5 path tmp#列出当前所有子卷的id及path[root@centos7-template ~]# btrfs subvolume list /mntID 263 gen 67 top level 5 path tmp#通过路径查看卷信息[root@centos7-template ~]# btrfs subvolume show /mnt/mnt is btrfs root [root@centos7-template ~]# btrfs subvolume show /mnt/tmp/mnt/tmp Name: tmp uuid: 0e6af78b-849f-a84e-9529-3280ec096201 Parent uuid: - Creation time: 2016-06-02 20:42:09 Object ID: 263 Generation (Gen): 67 Gen at creation: 67 Parent: 5 Top Level: 5 Flags: - Snapshot(s):#往子卷中创建一个2G大小的文件(超过初始分配的1G容量)[root@centos7-template /]# cd /mnt/tmp[root@centos7-template tmp]# dd if=/dev/zero of=./data bs=1M count=2048记录了2048+0 的读入 记录了2048+0 的写出2147483648字节(2.1 GB)已复制,1.16797 秒,1.8 GB/秒#此时发现子卷的容量自动扩展为3G[root@centos7-template tmp]# btrfs filesystem df -h /mnt/tmpData, RAID1: total=3.00GiB, used=2.00GiB System, RAID1: total=32.00MiB, used=16.00KiB Metadata, RAID1: total=256.00MiB, used=2.22MiB GlobalReserve, single: total=16.00MiB, used=0.00B
12)单独挂载子卷
[root@centos7-template tmp]# mkdir /root/tmp[root@centos7-template tmp]# mount -o subvol=tmp /dev/sdb /root/tmp[root@centos7-template tmp]# ll /root/tmp总用量 2097152-rw-r--r--. 1 root root 2147483648 6月 2 21:10 data
13)创建快照
命令语法如下:
snapshot [-r] |[/]
加上-r参数快照卷为只读,否则为读写
[root@centos7-template tmp]# btrfs subvolume snapshot -r /mnt/tmp /mnt/tmp-snapshot Create a readonly snapshot of '/mnt/tmp' in '/mnt/tmp-snapshot'[root@centos7-template tmp]# ls /mnt/tmp-snapshot/data#往原卷添加数据,快照卷的内容并未改变[root@centos7-template tmp]# touch /mnt/tmp/test.txt[root@centos7-template tmp]# ls /mnt/tmp-snapshot/ data
14)删除子卷和快照
[root@centos7-template mnt]# btrfs subvolume delete /mnt/tmpDelete subvolume (no-commit): '/mnt/tmp'[root@centos7-template mnt]# ll tmp-snapshot/总用量 2097152-rw-r--r--. 1 root root 2147483648 6月 2 21:10 data [root@centos7-template mnt]# btrfs subvolume delete /mnt/tmp-snapshot/Delete subvolume (no-commit): '/mnt/tmp-snapshot'[root@centos7-template mnt]# ls[root@centos7-template mnt]#
15)btrfs与ext4文件系统之间相互转换
[root@centos7-template mnt]# mkfs.ext4 /dev/sdd[root@centos7-template mnt]# mount /dev/sdd /root/tmp[root@centos7-template mnt]# vim /root/tmp/test.txtfirst line. [root@centos7-template mnt]# umount /dev/sdd[root@centos7-template mnt]# btrfs-convert /dev/sddcreating btrfs metadata. copy inodes [o] [ 0/ 12] creating ext2fs p_w_picpath file. cleaning up system chunk. conversion complete. [root@centos7-template mnt]# mount /dev/sdd /root/tmp[root@centos7-template mnt]# cat /root/tmp/test.txt first line. [root@centos7-template mnt]# umount /dev/sdd[root@centos7-template mnt]# btrfs-convert -r /dev/sddrollback complete. [root@centos7-template mnt]# mount /dev/sdd /root/tmp[root@centos7-template mnt]# cat /root/tmp/test.txt first line. [root@centos7-template mnt]# umount /root/tmp