【C++】布隆过滤器_c++布隆过滤器

---

布隆过滤器的引入

我们在使用新闻客户端看新闻时，它会给我们不停地推荐新的内容，它每次推荐时要去重，去掉那些已经看过的内容。问题来了，新闻客户端推荐系统如何实现推送去重的？ 用服务器记录了用户看过的所有历史记录，当推荐系统推荐新闻时会从每个用户的历史记录里进行筛选，过滤掉那些已经存在的记录。 如何快速查找呢？

1. 用哈希表存储用户记录，缺点：浪费空间
2. 用位图存储用户记录，缺点：位图一般只能处理整形，如果内容编号是字符串，就无法处理了。
3. 将哈希与位图结合，即布隆过滤器

布隆过滤器的概念

布隆过滤器是由布隆（Burton Howard Bloom）在1970年提出的 一种紧凑型的、比较巧妙的概
率型数据结构，特点是高效地插入和查询，可以用来告诉你 “某样东西一定不存在或者可能存
在”，它是用多个哈希函数，将一个数据映射到位图结构中。此种方式不仅可以提升查询效率，也
可以节省大量的内存空间。

深入了解布隆过滤器

问题：布隆过滤器，判断一个数据是否存在，“在”存在误判，还是“不在"存在误判?

答案是如果用布隆过滤器判断一个数据是否存在，如果得到的结果是在，那么可能是不准确的，是存在误判的。如果得到的结果是不在，这是准确的结果。假设映射“腾讯”，但是它映射的位置都跟别的数据冲突了（其它数据已经提前映射了这些位置），所以导致它的结果是“在”，结果就误判了。

布隆过滤器的使用场景是什么？

1. 能容忍误判的场景。比如注册时，快速判断昵称是否使用过。如果是判断手机号码这种1对1的数据，也可以尝试使用布隆过滤器，先用布隆过滤器过滤一遍，筛选出不在的，误判的结果再用数据库（磁盘，速度较慢）筛查。
2. 使用布隆过滤器的一般都是字符串。

如何选择哈希函数个数和布隆过滤器长度

如果布隆过滤器长度过小，那么布隆过滤器很快就会被存储完，即比特位都设置为1了，那么再查询数据都会返回“存在”，都误判了，这样过滤的作用就失效了。所以布隆过滤器的长度会直接影响误判率，结论就是布隆过滤器的长度越长误判率越小。

另外，哈希函数的个数就需要控制，个数越多则布隆过滤器的比特位设置成1的速度越快，占用的空间越多，并且布隆过滤器的效率会越低；如果个数太少，误判率就会变高。下面是大佬总结出来的关系图：

如何选择适合业务的 k 和 m 值呢，这里直接贴一个公式：

这里我们一起来算一下，In2约等于0.69，如果使用3个哈希函数，即k=3,那么就是3 = (m/n)*0.69，那么m/n的值约在4~5之间，m大概是n的4到5倍左右，也就是说布隆过滤器的长度应该是插入元素个数的4到5倍。

布隆过滤器的实现

//3个哈希函数
struct BKDRHash
{
	size_t operator()(const string& s)
	{
		size_t hash = 0;
		for (auto ch : s)
		{
			hash += ch;
			hash *= 31;
		}
		return hash;
	}
};
struct APHash
{
	size_t operator()(const string& s)
	{
		size_t hash = 0;
		
		for (long i = 0; i < s.size(); i++)
		{
			size_t ch = s[i];
			if ((i & 1) == 0)
			{
				hash ^= ((hash << 7) ^ ch ^ (hash >> 3));
			}
			else
			{
				hash ^= (~((hash << 11) ^ ch ^ (hash >> 5)));
			}
		}
		return hash;
	}
};
struct DJBHash
{
	size_t operator()(const string& s)
	{
		size_t hash = 5381;
		for (auto ch : s)
		{
			hash += (hash << 5) + ch;
		}
		return hash;
	}
};
//假定三个哈希函数,N个比特位,K是我们所要查找的键值
//Hash:将key转换成整型，才能进行映射
//N表示最多会插入的key的个数
//哈希函数的个数，代表一个key值映射几个位，哈希函数越多，误判率越低
//但是哈希函数越多，我们平均消耗的空间也会越多
template<size_t N,
class K = string,
class Hash1 = BKDRHash,
class Hash2 = APHash,
class Hash3 = DJBHash>

class BloomFilter
{
public:
	//布隆过滤器的插入
	void set(const K& key)
	{
		size_t len = N * _X;
		//key值分别通过三个哈希函数进行映射
		size_t hash1 = Hash1()(key) % len;
		_bs.set(hash1);

		size_t hash2 = Hash2()(key) % len;
		_bs.set(hash2);

		size_t hash3 = Hash3()(key) % len;
		_bs.set(hash3);
		
		cout << hash1 << " " << hash2 << " " << hash3 << " " << endl << endl;
	}
	//布隆过滤器的查找
	bool test(const K& key)
	{
		size_t len = N * _X;

		//3个位置key值都存在，才能证明key值存在
		//所以只要有一个位置key不存在，就返回假
		//key值分别通过三个哈希函数进行映射
		size_t hash1 = Hash1()(key) % len;
		if (!_bs.test(hash1))
		{
			return false;
		}

		size_t hash2 = Hash2()(key) % len;
		if (!_bs.test(hash2))
		{
			return false;
		}

		size_t hash3 = Hash3()(key) % len;
		if (!_bs.test(hash3))
		{
			return false;
		}
	}
private:
	static const size_t _X = 4;
	bitset<N*_X> _bs;
};
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107

关于布隆过滤器的删除

布隆过滤器不能直接支持删除工作，因为在删除一个元素时，可能会影响其他元素。

比如：“腾讯”和“美团”经过3个哈希函数的映射后，存在冲突，如果直接删除了“腾讯”元素，将元素对应的二进制比特位设置为0，那么就会导致"美团"也可能被删除了，因为这两个元素在多个哈希函数计算出的比特位上刚好有重叠。

一种支持删除的方法：将布隆过滤器中的每个比特位扩展成一个小的计数器，插入元素时给k个计数器（k个哈希函数计算出来的哈希地址）加1，删除元素时，给k个计数器减一，通过多占用几倍存储空间的代价来增加删除操作。

布隆过滤器的优缺点

优点：

1. 增加和查询元素的时间复杂度为:O(K),（这里K是哈希函数的个数），时间复杂度与数据量大小无关。
2. 哈希函数相互之间没有关系，方便硬件并行运算。
3. 布隆过滤器不需要存储元素本身，在某些对保密要求比较严格的场合有很大优势。
4. 在能够承受一定误判时，布隆过滤器比其他数据结构又着很大的空间优势。
5. 数据量很大时，布隆过滤器可以表示全集，其他数据结构不能。
6. 使用同一组散列函数的布隆过滤器可以进行交，并，差运算。

缺点：

1. 有误判率，即存在假阳性，不能准确判断元素是否在集合中（补救方法：再建立一个白名单，存储可能会误判的数据）。
2. 不能获取元素本身。
3. 一般情况下不能从布隆过滤器中删除元素，如果采用计数方式删除，可能会存在计数回绕问题。