赞
踩
BitMap,即位图,使用每个位表示某种状态,适合处理整型的海量数据。本质上是哈希表的一种应用实现,原理也很简单,给定一个int整型数据,将该int整数映射到对应的位上,并将该位由0改为1。例如:
使用情景 当我们业务要求 :
需要实现用户的保存签到记录,我们一般是根据数据库存储的,这样每个人的一天签到,就是一条记录 ,但是
所以我们就可以使用位图来完成签到业务:
刚好redis底层按照字节储存32bit位,如果一位对应本月的1天 ,1,代表已经签到,0代表未签到,一个用户一个月才使用个位数字节的消耗
对应操作:bit是从0开始-31
此时代表 这位user除了周四未打卡,其余时间都已经签到
redis查看
因为存储时按照字节储存 ,一个字节8bit,我们刚使用7位表示一周的签到情况,剩下的bit位 补全0
getbit :获取指定索引位置的值 我们就可以用于查找某一天的打卡请况
bitfield:操作包含几个操作一般哦用于批量查找
问题实战:
前端用户点击签到按钮发送签到请求,服务端根据此用户的id进行保存,可以存入redis,也可以持久化数据库
接口地址:
/**
* 当前用户进行签到
* @return
*/
@PostMapping("/sign")
public Result sign(){
return userService.sign();
}
实现方法: /** * 用户签到功能 * @return */ @Override public Result sign() { //获取当前用户id Long userid = UserHolder.getUser().getId(); //获取日期 LocalDateTime now = LocalDateTime.now(); // 获取哪一天签到的标识 String key_sufix= now.format(DateTimeFormatter.ofPattern(":yyyyMM")); //拼接key String key="sign:"+userid+key_sufix; //在bitmap 存入bit位 存放第几位 所以需要获取今天是本月的第几天 int day = now.getDayOfMonth(); //写入当前bit位 offset偏移量 因为是bit 从0开始计数 1-31 在bit中是0-30 stringRedisTemplate.opsForValue().setBit(key,day-1,true);//true代表1 签到 return Result.ok(); }
这样我们就用:业务前缀:用户id:签到月份为key,存储了用户的签到情况
bitfiled 参数说明,因为这个指令包含多个操作这里只涉及get
u代表无符号 ,dayofmonth(今日时本月的第多少天) 0从第几号开始
案列
代码实现: /** * 实现统计连续签到天数如今天14号 * u14 无符号 查询14个bit * @return */ @Override public Result signCount() { //1. 获取目前的是本月的第几天 以及需要用到的key Long userid = UserHolder.getUser().getId(); LocalDateTime now = LocalDateTime.now(); String key_sufix= now.format(DateTimeFormatter.ofPattern(":yyyyMM")); String key="sign:"+userid+key_sufix; int today = now.getDayOfMonth(); // 2. 获取本月为止所有的签到记录 因为bitfield包含了很多操作所以才返回集合 List<Long> rs = stringRedisTemplate.opsForValue().bitField(key, BitFieldSubCommands.create().get(BitFieldSubCommands.BitFieldType.unsigned(today))//对应u today 查询无符号多少位 .valueAt(0) ); if (rs==null||rs.isEmpty()) { // 没有任何结果 return Result.ok(0); } // 因为我们知识get了一个结果 所有直接get 0 Long num = rs.get(0); if (num==null||num==0){ return Result.ok(0); } // 3.循环便利 int count=0; while(true){ // 3.1 让获取的结果跟1做于运算 得到数字最后一个bit位 if( (num&1)==0){ // 如果为0 找到第一个未签到的 break; } else{ // 3.2如果不为0 说明便利的已经签到计数器加1 ++count; } //把数字无符号右移进行下一次便利 // 8.把数字右移一位抛弃最后一位 num>>>=1;//num=>>>1; } return Result.ok(count); }
我们存入5个元素
使用pfcount统计:
如果我们存储同样的element元素呢
结果可知:不会统计重复的元素,所以HyperLogLog简直就是为uv统计量身定做的数据结构
模拟100w用户存储游览量
@Test void testHyperLogLog() { String[] values = new String[1000]; int j = 0; for (int i = 0; i < 1000000; i++) { j = i % 1000;//角标范围0-999 values[j] = "user_" + i;//模拟用户点击 if(j == 999){//每隔1000 插入1次 // 发送到Redis stringRedisTemplate.opsForHyperLogLog().add("hl2", values);//可变参数 也是数组 } } // 统计数量 Long count = stringRedisTemplate.opsForHyperLogLog().size("hl2"); System.out.println("count = " + count); }
结果:
可以看到数据的误差百万级别只有0.25 是相当不错的
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。