基于Redis分布式BitMap的应用分析_Redis

一、序言

在实际开发中常常遇到如下需求：判断当前元素是否存在于已知的集合中，将已知集合中的元素维护一个HashSet，使用时只需耗时O(1)的时间复杂度便可判断出结果，Java内部或者Redis均提供相应的数据结构。使用此种方式除了占用内存空间外，几乎没有其它缺点。

当数据量达到亿级别时，内存空间的占用显著表现出来，BitMap便是解决此类问题的一种途径。

二、BitMap结构

1、内存消耗分析

Redis BitMap能够存储的数据范围为[0,2^32-1]，超过Integer.MAX_VALUE上界值。

为了简化讨论，假设讨论的集合元素的范围为[0,Integer.MAX_VALUE]，可以是其中的任何一个数。

使用HashSet数据结构占用内存空间仅与集合中的元素数量（N）相关。当集合中元素数量为N时，所需的内存空间大概为N*4/1024/1024MB，1亿条数据约占内存空间381MB。

基于Redis的BitMap所占用的空间大小不与集合中元素数量相关，与集合中元素的最大值直接相关，因此BitMap所占用的内存空间范围为[N / 8 / 1024 / 1024,Integer.MAX_VALUE / 8 / 1024 / 1024]。

				?

									// 测试1亿、5亿、10亿、Integer.MAX_VALUE

									List<Integer> items = Arrays.asList(100000000, 500000000, 1000000000, Integer.MAX_VALUE);

									for (Integer item : items) {

									    int size = item / 8 / 1024 / 1024;

									    System.out.printf("如果集合中最大值为%-10s,则所占用的内存空间为%3sMB%n",item, size);

									}

这里给出了一组测试参考数据

如果集合中最大值为100000000 ,则所占用的内存空间为 11MB
如果集合中最大值为500000000 ,则所占用的内存空间为 59MB
如果集合中最大值为1000000000,则所占用的内存空间为119MB
如果集合中最大值为2147483647,则所占用的内存空间为255MB

当集合中数据增长到10亿条时，使用BItMap最大占用内存约为255MB，而使用HashSet增长到3.8GB。

2、命令行操作BitMap

使用Redis命令行可直接操作BitMap，将offset位置的值标注为1，则表示当前数据存在。默认情况下未标注的位置值为0。

				?

									# 默认位不赋值为0，当数据存在于集合中，将对应位赋值为1

									SETBIT key offset value

									# 查看对应位数据是否存在（1表示存在，0表示不存在）

									GETBIT key offset

3、客户端操作BitMap

这里提供一个SpringBoot生态的RedisUtils工具类，内部封装操作Redis BitMap的工具方法。

				?

									// 将当前位置标记为true

									RedisUtils.setBit(BIT_MAP_KEY, orderId, true);

									// 获取指定位置的值（对应数值是否存在）

									RedisUtils.getBit(BIT_MAP_KEY, orderId)

上述工具类的依赖如下，如果找不到Jar包，请直接使用Maven原始仓库源，阿里云尚未同步完成。

				?

									<dependency>

									    <groupId>xin.altitude.cms</groupId>

									    <artifactId>ucode-cms-common</artifactId>

									    <version>1.4.3</version>

									</dependency>