服务器之家:专注于服务器技术及软件下载分享
分类导航

Mysql|Sql Server|Oracle|Redis|MongoDB|PostgreSQL|Sqlite|DB2|mariadb|Access|数据库技术|

服务器之家 - 数据库 - Redis - 什么是布隆过滤器?如何实现布隆过滤器?

什么是布隆过滤器?如何实现布隆过滤器?

2024-01-06 05:00未知服务器之家 Redis

布隆过滤器(Bloom Filter)是一种空间效率极高的概率型数据结构,用于判断一个元素是否在一个集合中。它基于位数组和多个哈希函数的原理,可以高效地进行元素的查询,而且占用的空间相对较小,如下图所示: 根据 key 值计算

什么是布隆过滤器?如何实现布隆过滤器?

布隆过滤器(Bloom Filter)是一种空间效率极高的概率型数据结构,用于判断一个元素是否在一个集合中。它基于位数组和多个哈希函数的原理,可以高效地进行元素的查询,而且占用的空间相对较小,如下图所示:

什么是布隆过滤器?如何实现布隆过滤器?

根据 key 值计算出它的存储位置,然后将此位置标识全部标识为 1(未存放数据的位置全部为 0),查询时也是查询对应的位置是否全部为 1,如果全部为 1,则说明数据是可能存在的,否则一定不存在。 

也就是说,如果布隆过滤器说一个元素不在集合中,那么它一定不在这个集合中;但如果它说一个元素在集合中,则有可能是不存在的(存在误差)

1、布隆执行过程

布隆过滤器的具体执行步骤如下:

  • 在 Redis 中创建一个位数组,用于存储布隆过滤器的位向量。
  • 初始化多个哈希函数,并将每个哈希函数的计算结果对应的位数组位置设置为 1。
  • 添加元素到布隆过滤器时,对元素进行多次哈希计算,并将对应的位数组位置设置为 1。
  • 查询元素是否存在时,对元素进行多次哈希计算,并检查对应的位数组位置是否都为 1。

2、布隆使用场景

布隆过滤器的主要使用场景有以下几个:

  • 大数据量去重:可以用布隆过滤器来进行数据去重,判断一个数据是否已经存在,避免重复插入。
  • 缓存穿透:可以用布隆过滤器来过滤掉恶意请求或请求不存在的数据,避免对后端存储的频繁访问。
  • 网络爬虫的 URL 去重:可以用布隆过滤器来判断 URL 是否已经被爬取,避免重复爬取。

3、如何实现布隆过滤器?

在 Redis 中不能直接使用布隆过滤器,但我们可以通过 Redis 4.0 版本之后提供的 modules (扩展模块) 的方式引入,它的实现步骤如下。

(1)打包RedisBloom插件

git clone https://github.com/RedisLabsModules/redisbloom.git

cd redisbloom

make # 编译redisbloom

编译正常执行完,会在根目录生成一个 redisbloom.so 文件。

(2)启用RedisBloom插件

重新启动 Redis 服务,并指定启动 RedisBloom 插件,具体命令如下:

redis-server redis.conf --loadmodule ./src/modules/RedisBloom-master/redisbloom.so

(3)创建布隆过滤器

创建一个布隆过滤器,并设置期望插入的元素数量和误差率,在 Redis 客户端中输入以下命令:

BF.RESERVE my_bloom_filter 0.01 100000

(4)添加元素到布隆过滤器

在 Redis 客户端中输入以下命令:

BF.ADD my_bloom_filter leige

(5)检查元素是否存在

在 Redis 客户端中输入以下命令:

BF.EXISTS my_bloom_filter leige

课后思考

以上我们介绍了什么是布隆过滤器?它的使用场景和执行流程,以及在 Redis 中它的使用,那么问题来了,在日常开发中,也就是在 Java 开发中,我们又将如何操作布隆过滤器呢?

延伸 · 阅读

精彩推荐
  • RedisRedis中scan命令的深入讲解

    Redis中scan命令的深入讲解

    这篇文章主要给大家介绍了关于Redis中scan命令的相关资料,文中通过示例代码介绍的非常详细,对大家学习或者使用redis具有一定的参考学习价值,需要的...

    面向Google编程2812019-11-18
  • RedisRedis 除了用作缓存还能干吗?

    Redis 除了用作缓存还能干吗?

    今天我们来聊聊 Redis 的使用案例。 Redis 是一种内存键值数据库。它支持多种数据结构,如 String, Hash, List, Set 和 SortedSet。 图片 01 缓存 Redis 的最常用的用例...

    未知1272023-12-09
  • Redis利用Redis实现防止接口重复提交功能

    利用Redis实现防止接口重复提交功能

    大家好,本篇文章主要讲的是利用Redis实现防止接口重复提交功能,感兴趣的同学赶快来看一看吧,对你有帮助的话记得收藏一下,方便下次浏览...

    秃头哥编程14432022-01-24
  • RedisRedis网络模型有多强?

    Redis网络模型有多强?

    如果面试官问我:Redis为什么这么快? 我肯定会说:因为Redis是内存数据库!如果不是直接把数据放在内存里,甭管怎么优化数据结构、设计怎样的网络I...

    未知1792023-05-07
  • Redis基于Redis结合SpringBoot的秒杀案例详解

    基于Redis结合SpringBoot的秒杀案例详解

    这篇文章主要介绍了Redis结合SpringBoot的秒杀案例,本文通过实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以...

    别团等shy哥发育9672021-11-19
  • RedisCentOS7.5使用mysql_multi方式安装MySQL5.7.28多实例(详解)

    CentOS7.5使用mysql_multi方式安装MySQL5.7.28多实例(详解)

    这篇文章主要介绍了CentOS7.5使用mysql_multi方式安装MySQL5.7.28多实例,非常不错,具有一定的参考借鉴价值,需要的朋友可以参考下 ...

    love8度幸福2552020-03-01
  • Redisredis批量删除key的步骤

    redis批量删除key的步骤

    本文分享最新版Redis批量删除key的方法,希望能帮到遇到同样问题的网友。...

    tlanyan6462020-09-20
  • Redis兄弟,王者荣耀的段位排行榜是通过Redis实现的?

    兄弟,王者荣耀的段位排行榜是通过Redis实现的?

    在王者荣耀中,我们会打排位赛,而且大家最关注的往往都是你的段位,还有在好友中的排名。 作为程序员的你,思考过吗,这个段位排行榜是怎么实现的...

    未知1962023-09-01