NFS4中小企业存储实战

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

　NFS 是Network File System的缩写，即网络文件系统。一种使用于分散式文件系统的协定，由Sun公司开发，于1984年向外公布。功能是通过网络让不同的机器、不同的操作系统能够彼此分享个别的数据，让应用程序在客户端通过网络访问位于服务器磁盘中的数据，是在类Unix系统间实现磁盘文件共享的一种方法。

　　NFS 的基本原则是“容许不同的客户端及服务端通过一组RPC分享相同的文件系统”，它是独立于操作系统，容许不同硬件及操作系统的系统共同进行文件的分享。NFS在文件传送或信息传送过程中依赖于RPC协议。RPC，远程过程调用 (Remote Procedure Call) 是能使客户端执行其他系统中程序的一种机制。NFS本身是没有提供信息传输的协议和功能的，但NFS却能让我们通过网络进行资料的分享，这是因为NFS使用了一些其它的传输协议。而这些传输协议用到这个RPC功能的。可以说NFS本身就是使用RPC的一个程序。或者说NFS也是一个RPC SERVER。所以只要用到NFS的地方都要启动RPC服务，不论是NFS SERVER或者NFS CLIENT。这样SERVER和CLIENT才能通过RPC来实现PROGRAM PORT的对应。

RPC和NFS的关系：NFS是一个文件系统，而RPC是负责负责信息的传输。

NFS版本简单介绍：

版权问题，摘自：http://blog.csdn.net/ycnian/article/details/8515517

NFSv4.0

相比NFSv3，NFSv4发生了比较大的变化，最大的变化是NFSv4有状态了。NFSv2和NFSv3都是无状态协议，服务区端不需要维护客户端的状态信息。无状态协议的一个优点在于灾难恢复，当服务器出现问题后，客户端只需要重复发送失败请求就可以了，直到收到服务器的响应信息。但是某些操作必须需要状态，如文件锁。如果客户端申请了文件锁，但是服务器重启了，由于NFSv3无状态，客户端再执行锁操作可能就会出错了。NFSv3需要NLM协助才能实现文件锁功能，但是有的时候两者配合不够协调。NFSv4设计成了一种有状态的协议，自身实现了文件锁功能，就不需要NLM协议了。NFSv4和NFSv3的差别如下：

(1) NFSv4设计成了一种有状态的协议，自身实现了文件锁功能和获取文件系统根节点功能，不需要NLM和MOUNT协议协助了。

(2) NFSv4增加了安全性，支持RPCSEC-GSS身份认证。

(3) NFSv4只提供了两个请求NULL和COMPOUND，所有的操作都整合进了COMPOUND中，客户端可以根据实际请求将多个操作封装到一个COMPOUND请求中，增加了灵活性。

(4) NFSv4文件系统的命令空间发生了变化，服务器端必须设置一个根文件系统(fsid=0)，其他文件系统挂载在根文件系统上导出。

(5) NFSv4支持delegation。由于多个客户端可以挂载同一个文件系统，为了保持文件同步，NFSv3中客户端需要经常向服务器发起请求，请求文件属性信息，判断其他客户端是否修改了文件。如果文件系统是只读的，或者客户端对文件的修改不频繁，频繁向服务器请求文件属性信息会降低系统性能。NFSv4可以依靠delegation实现文件同步。当客户端A打开一个文件时，服务器会分配给客户端A一个delegation。只要客户端A具有delegation，就可以认为与服务器保持了一致。如果另外一个客户端B访问同一个文件，则服务器会暂缓客户端B的访问请求，向客户端A发送RECALL请求。当客户端A接收到RECALL请求时将本地缓存刷新到服务器中，然后将delegation返回服务器，这时服务器开始处理客户端B的请求。

(6) NFSv4修改了文件属性的表示方法。由于NFS是Sun开发的一套文件系统，设计之出NFS文件属性参考了UNIX中的文件属性，可能Windows中不具备某些属性，因此NFS对操作系统的兼容性不太好。NFSv4将文件属性划分成了三类：

        Mandatory Attributes: 这是文件的基本属性，所有的操作系统必须支持这些属性。

        Recommended Attributes: 这是NFS建议的属性，如果可能操作系统尽量实现这些属性。

        Named Attributes: 这是操作系统可以自己实现的一些文件属性。

 NFSv4.1

      与NFSv4.0相比，NFSv4.1最大的变化是支持并行存储了。在以前的协议中，客户端直接与服务器连接，客户端直接将数据传输到服务器中。当客户端数量较少时这种方式没有问题，但是如果大量的客户端要访问数据时，NFS服务器很快就会成为一个瓶颈，抑制了系统的性能。NFSv4.1支持并行存储，服务器由一台元数据服务器(MDS)和多台数据服务器(DS)构成，元数据服务器只管理文件在磁盘中的布局，数据传输在客户端和数据服务器之间直接进行。由于系统中包含多台数据服务器，因此数据可以以并行方式访问，系统吞吐量迅速提升。

1

2

3

4

5

6

7

8

9

[root@nfsserver ~]# nfsstat  --version

nfsstat: 1.2.3

[root@nfsserver ~]# nfs

-bash: nfs: command not found

[root@nfsserver ~]# nfsstat 

Server rpc stats:

calls      badcalls   badclnt    badauth    xdrcall

24         0          0          0          0  

Server nfs v4:

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

48

49

#yum install rpcbind nfs-utils -y //老版本portmap

#yum install nfs4-acl-tools -y  //如果要使用nfs的acl功能

[root@nfsserver ~]# /etc/init.d/rpcbind restart

停止 rpcbind：                                             [确定]

正在启动 rpcbind：                                         [确定]

[root@nfsserver ~]# /etc/init.d/nfs restart

关闭 NFS 守护进程：                                        [确定]

关闭 NFS mountd：                                          [确定]

关闭 NFS 服务：                                            [确定]

Shutting down RPC idmapd:                                  [确定]

启动 NFS 服务：                                            [确定]

启动 NFS mountd：                                          [确定]

启动 NFS 守护进程：                                        [确定]

正在启动 RPC idmapd：                                      [确定]

[root@nfsserver ~]#

[root@node6 ~]# chkconfig rpcbind on

[root@node6 ~]# chkconfig nfs on

[root@node6 ~]#

[root@node6 ~]# rpcinfo -p

   program vers proto   port  service

    100000    4   tcp    111  portmapper

    100000    3   tcp    111  portmapper

    100000    2   tcp    111  portmapper

    100000    4   udp    111  portmapper

    100000    3   udp    111  portmapper

    100000    2   udp    111  portmapper

    100005    1   udp  33923  mountd

    100005    1   tcp  59245  mountd

    100005    2   udp  60409  mountd

    100005    2   tcp  38256  mountd

    100005    3   udp  34824  mountd

    100005    3   tcp  33866  mountd

    100003    2   tcp   2049  nfs

    100003    3   tcp   2049  nfs

    100003    4   tcp   2049  nfs

    100227    2   tcp   2049  nfs_acl

    100227    3   tcp   2049  nfs_acl

    100003    2   udp   2049  nfs

    100003    3   udp   2049  nfs

    100003    4   udp   2049  nfs

    100227    2   udp   2049  nfs_acl

    100227    3   udp   2049  nfs_acl

    100021    1   udp  53344  nlockmgr

    100021    3   udp  53344  nlockmgr

    100021    4   udp  53344  nlockmgr

    100021    1   tcp  42412  nlockmgr

    100021    3   tcp  42412  nlockmgr

    100021    4   tcp  42412  nlockmgr

[root@node6 ~]#

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

48

49

50

51

注意 NFS 使用 portmap，而且新版本的 portmap 使用 hosts.deny 和 hosts.allow 文件来控制访问源，修改这2个配置文件以便 NFS 客户端能正常连接到服务器：

# vi /etc/hosts.deny

portmap:ALL

# vi /etc/hosts.allow

portmap:192.168.1.0/24

#cat /etc/exports （当然可以加多个）

[root@nfsserver ~]# cat /etc/exports 

/data      192.168.1.*(rw,no_root_squash)  192.168.2.*(ro)

#/data1 192.168.1.0/24(rw,insecure,sync,all_squash,anonuid= 65534,anongid=65534)

[root@nfsserver ~]#

NFS的常用目录

/etc/exports                           NFS服务的主要配置文件

/usr/sbin/exportfs                     NFS服务的管理命令

/usr/sbin/showmount                    客户端的查看命令

/var/lib/nfs/etab                      记录NFS分享出来的目录的完整权限设定值

/var/lib/nfs/xtab                      记录曾经登录过的客户端信息

NFS服务的配置文件为 /etc/exports，这个文件是NFS的主要配置文件，不过系统并没有默认值，所以这个文件不一定会存在，可能要使用vim手动建立，然后在文件里面写入配置内容。

/etc/exports文件内容格式：

<输出目录> [客户端1 选项（访问权限,用户映射,其他）] [客户端2 选项（访问权限,用户映射,其他）]

a. 输出目录：

输出目录是指NFS系统中需要共享给客户机使用的目录；

b. 客户端：

客户端是指网络中可以访问这个NFS输出目录的计算机

客户端常用的指定方式

指定ip地址的主机：192.168.1.220

指定子网中的所有主机：192.168.1.0/24 192.168.2.0/255.255.255.0

指定域名的主机：www.baidu.com

指定域中的所有主机：*.baidu.cn

所有主机：*

c. 选项：

选项用来设置输出目录的访问权限、用户映射等。

NFS主要有3类选项：

访问权限选项

设置输出目录只读：ro

设置输出目录读写：rw

用户映射选项

all_squash：将远程访问的所有普通用户及所属组都映射为匿名用户或用户组（nfsnobody）；

no_all_squash：与all_squash取反（默认设置）；

root_squash：将root用户及所属组都映射为匿名用户或用户组（默认设置）；

no_root_squash：与rootsquash取反；

anonuid=xxx：将远程访问的所有用户都映射为匿名用户，并指定该用户为本地用户（UID=xxx）；

anongid=xxx：将远程访问的所有用户组都映射为匿名用户组账户，并指定该匿名用户组账户为本地用户组账户（GID=xxx）；

其它选项

secure：限制客户端只能从小于1024的tcp/ip端口连接nfs服务器（默认设置）；

insecure：允许客户端从大于1024的tcp/ip端口连接服务器；

sync：将数据同步写入内存缓冲区与磁盘中，效率低，但可以保证数据的一致性；

async：将数据先保存在内存缓冲区中，必要时才写入磁盘；

wdelay：检查是否有相关的写操作，如果有则将这些写操作一起执行，这样可以提高效率（默认设置）；

no_wdelay：若有写操作则立即执行，应与sync配合使用；

subtree：若输出目录是一个子目录，则nfs服务器将检查其父目录的权限(默认设置)；

no_subtree：即使输出目录是一个子目录，nfs服务器也不检查其父目录的权限，这样可以提高效率；

1

2

3

4

5

6

7

8

9

10

11

12

13

[root@nfscliet ~]# showmount  -e 192.168.1.224

Export list for 192.168.1.224:

/data 192.168.2.*,192.168.1.*

[root@nfscliet ~]#  mount -t nfs4 192.168.1.224:/data /opt/nfs/

[root@nfscliet ~]# df -TH

Filesystem           Type     Size  Used Avail Use% Mounted on

/dev/mapper/vg_hyxd-lv_root

                     ext4      40G  953M   37G   3% /

tmpfs                tmpfs    249M     0  249M   0% /dev/shm

/dev/sda1            ext4     500M   27M  448M   6% /boot

/dev/sr0             iso9660  4.7G  4.7G     0 100% /opt/ren

192.168.1.224:/data  nfs4      19G  1.6G   16G   9% /opt/nfs

[root@nfscliet ~]#

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

mount相关参数

ro 以只读模式加载。

rw 以可读写模式加载。

sync 以同步方式执行文件系统的输入输出动作。

async 以非同步的方式执行文件系统的输入输出动作。

defaults 使用默认的选项。默认选项为rw、suid、dev、exec、anto nouser与async。

atime 每次存取都更新inode的存取时间，默认设置，取消选项为noatime。

noatime 每次存取时不更新inode的存取时间。

dev 可读文件系统上的字符或块设备，取消选项为nodev。

nodev 不读文件系统上的字符或块设备。

exec 可执行二进制文件，取消选项为noexec。

noexec 无法执行二进制文件。

auto 必须在/etc/fstab文件中指定此选项。执行-a参数时，会加载设置为auto的设备，取消选取为noauto。

noauto 无法使用-a参数来加载。

suid 启动set-user-identifier(设置用户ID)与set-group-identifer(设置组ID)设置位，取消选项为nosuid。

nosuid 关闭set-user-identifier(设置用户ID)与set-group-identifer(设置组ID)设置位。

user 普通用户可以执行加载操作。

nouser 普通用户无法执行加载操作，默认设置。

remount 重新加载设备。通常用于改变设备的设置状态。

rsize 读取数据缓冲大小，默认设置1024。

wsize 写入数据缓冲大小，默认设置1024。

fg 以前台形式执行挂载操作，默认设置。在挂载失败时会影响正常操作响应。

bg 以后台形式执行挂载操作。

hard 硬式挂载，默认设置。如果与服务器通讯失败，让试图访问它的操作被阻塞，直到服务器恢复为止。

soft 软式挂载。如果服务器通讯失败，让试图访问它的操作失败，返回一条出错消息。这项功能对于避免进程“挂”在无关紧要的安装操作上来说非常有用。

retrans=n 指定在以软方式安装的文件系统上，在返回一条出错消息之前重复发出请求的次数。

nointr 不允许用户中断，默认设置。

intr 允许用户中断被阻塞的操作（并且让它们返回一条出错消息）。

timeo=n 设置请求的超时时间（以十分之一秒为单位）。

注:

automounter专用参数

fstype=  用于指定一个文件系统的类型（如果要挂载的文件系统不是NFS的话），mount是不能用的。

1

2

3

4

5

6

1、NFS服务器关机时要确保NFS没有客户端连接.

2、windows客户端挂载共享目录不支持utf-8编码，因此可能会出现中文乱码。可以通过修改服务器lo   cal的默认编码来解决。

3、# mount -t nfs4 192.168.1.224:/data /opt/nfs

   mount.nfs4: Cannot allocate memory则Linux kernel 或通过打开 IPv6 来解决这个问题

4、mount -t nfs 使用的是 nfsv3 协议，需要明确指出使用 nfsv4 协议挂载 mount -t nfs4：

5、注意使用 NFS 的时候，客户端的用户 UID 和 GID 必须和服务器端的 UID 和GID 完全符合，否则会造成权限错误。在小规模用户的情况下，我们可以偷懒通过在客户和服务器两端同时建立相同的用户和组来解决这个问题，但是在大规模用户情况下最好的办法是利用 NIS 或者 OpenLDAP 来统一管理用户，做到一次登录，到处访问。