基于Zookeeper的临时顺序节点实现分布式锁_zk顺序节点

  在前面的文章中，已经给出基于kazoo操作zk的逻辑，接下来利用zk的临时序列节点机制实现分布式锁，分布式锁场景使用非常广，在读写方面都非常适合，个人认为比基于redis实现的分布式锁更具可靠性（但性能方面，redis应该更强？）。

1、zk的临时顺序节点

  临时顺序节点其实是结合临时节点和顺序节点的特点：在某个固定的持久节点(例如/locker)下创建子节点时，zk通过将10位的序列号附加到原始名称来设置znode的路径。例如，使用路径 /locker/foo创建为临时顺序节点，zk会将路径设为为 /locker/foo0000000001 ，并将下一个临时迅速节点设为/locker/foo0000000002，以此类推。如果两个顺序节点是同时创建的，那么zk不会对每个znode使用相同的数字。当创建节点的客户端与zk断开连接时（socket断开，更深一层应该是收到客户端发来的TCP挥手FIN 报文），服务端zk底层收到客户端的FIN报文后将由该客户端创建的临时节点删除掉。
  临时顺序节点结构大致如下，/locker节点为持久节点，该节点下有多个子节点，这些子节点由不同客户端创建。

locker/
├── foo0000000001
├── foo0000000002
├── foo0000000003
├── foo0000000004
└── foo0000000005
1
2
3
4
5
6

2、分布式锁的实现流程

  注意：本文提供的是基于zk的共享锁，而非排他锁（独占锁），看完本文后，实现独占锁会简单很多
  共享锁定义：又称读锁。如果事务T1对数据对象O1加上了共享锁，那么当前事务只能对O1进行读取操作，其他事务也只能对这个数据对象加共享锁，直到该数据对象上的所有共享锁都被释放。zk实现的“共享锁”就是有多个序号的临时节点。
  共享锁与排他锁的区别在于，加了排他锁之后，数据对象只对当前事务可见，而加了共享锁之后，数据对象对所有事务都可见。

分布式锁流程：

(1) 客户端发起请求，在zk指定持久节点/locker下（若不存在该locker节点则创建），创建临时顺序节点/locker/foo0000000003
(2) 获取/locker下所有子节点，例如有三个不同客户端各自创建的节点`all_nodes=['/locker/foo0000000001','/locker/foo0000000002','/locker/foo0000000003']`
(3) 对子节点按节点自增序号从小到大排序
(4) 判断本节点/locker/foo0000000003是否为节点列表中最小的子节点，若是，则获取锁，处理业务后，删除本节点/locker/foo0000000003；若不是，则监听排在该节点前面的那个节点/locker/foo0000000002“是否存在”事件
注意：这里产生这样的节点监听链，有两个监听链：
`/locker/foo0000000002监听/locker/foo0000000001是否存在的事件`
`/locker/foo0000000003监听/locker/foo0000000002是否存在的事件`
(5) 若被监听的节点路径“是否存在”的事件触发，处理业务，删除本节点；否则客户端阻塞自己，继续等待监听事件触发。
1
2
3
4
5
6
7
8

图示说明

流程用OmniGraffle（Mac）画成，比Visio好用

3、show me the code

  用python实现的zk临时顺序节点分布式锁的文章，在csdn等貌似没看到过，很多文章都是使用别人已经封装好的zklock或者直接使用kazoo提供zklock来做例子说明。

# 使用上下文管理协议，对于使用者友好以及简单易用
with ZkDistributedLock(**conf):
     # 调用者的业务逻辑代码
     doing_jobs(*args,**kwargs)
1
2
3
4

import os
import time
import datetime
import threading
from kazoo.client import KazooClient


class ZkDistributedLock(object):
    """
    基于zk的临时顺序节点实现分布式锁
    """
    def __init__(self, hosts, locker_path, sub_node_name, timeout, default_value=b'1'):
        self.hosts = hosts
        # 持久节点路径
        self.locker_path = locker_path
        self.timeout = timeout
        # 子节点路径
        self.sub_node_path = os.path.join(self.locker_path, sub_node_name)
        # 创建子节点为临时顺序节点的默认值（只需要有值就行）
        self.default_value = default_v
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19