服务器之家:专注于服务器技术及软件下载分享
分类导航

Mysql|Sql Server|Oracle|Redis|MongoDB|PostgreSQL|Sqlite|DB2|mariadb|Access|数据库技术|

服务器之家 - 数据库 - Redis - 高并发下缓存穿透、击穿、雪崩问题的解决方案,落地到代码该如何实现?

高并发下缓存穿透、击穿、雪崩问题的解决方案,落地到代码该如何实现?

2023-07-20 05:00未知服务器之家 Redis

记得在《【高并发】Redis如何助力高并发秒杀系统?看完这篇我彻底懂了!!》一文中,我们以高并发秒杀系统中扣减库存的场景为例,说明了Redis是如何助力秒杀系统的。那么,说到Redis,往往更多的场景是被用作系统的缓存,说

记得在《【高并发】Redis如何助力高并发秒杀系统?看完这篇我彻底懂了!!》一文中,我们以高并发秒杀系统中扣减库存的场景为例,说明了Redis是如何助力秒杀系统的。那么,说到Redis,往往更多的场景是被用作系统的缓存,说到缓存,尤其是分布式缓存系统,在实际高并发场景下,稍有不慎,就会造成缓存穿透、缓存击穿和缓存雪崩的问题。

那什么是缓存穿透?什么是缓存击穿,又什么是缓存雪崩呢?它们是如何造成的?又该如何解决呢?这次,我们不仅仅是从理论上来阐述这些内容,冰河更是开源了生产级高并发场景下缓存穿透、击穿和雪崩问题解决方案的落地代码,让你掌握的不仅仅是理论知识,更是落地到代码的解决方案。

缓存穿透

首先,我们来说说缓存穿透。什么是缓存穿透呢?缓存穿透问题在一定程度上与缓存命中率有关。如果我们的缓存设计的不合理,缓存的命中率非常低,那么,数据访问的绝大部分压力都会集中在后端数据库层面。

什么是缓存穿透?

如果在请求数据时,在缓存层和数据库层都没有找到符合条件的数据,也就是说,在缓存层和数据库层都没有命中数据,那么,这种情况就叫作缓存穿透。

我们可以使用下图来表示缓存穿透的现象。

高并发下缓存穿透、击穿、雪崩问题的解决方案,落地到代码该如何实现?图片

造成缓存穿透的主要原因就是:查询某个Key对应的数据,Redis缓存中没有相应的数据,则直接到数据库中查询。数据库中也不存在要查询的数据,则数据库会返回空,而Redis也不会缓存这个空结果。这就造成每次通过这样的Key去查询数据都会直接到数据库中查询,Redis不会缓存空结果。这就造成了缓存穿透的问题。

如何解决缓存穿透问题?

既然我们知道了造成缓存穿透的主要原因就是缓存中不存在相应的数据,直接到数据库查询,数据库返回空结果,缓存中不存储空结果。

那我们就自然而然的想到了第一种解决方案:就是把空对象缓存起来。当第一次从数据库中查询出来的结果为空时,我们就将这个空对象加载到缓存,并设置合理的过期时间,这样,就能够在一定程度上保障后端数据库的安全。

第二种解决缓存穿透问题的解决方案:就是使用布隆过滤器,布隆过滤器可以针对大数据量的、有规律的键值进行处理。一条记录是不是存在,本质上是一个Bool值,只需要使用 1bit 就可以存储。我们可以使用布隆过滤器将这种表示是、否等操作,压缩到一个数据结构中。比如,我们最熟悉的用户性别这种数据,就非常适合使用布隆过滤器来处理。

缓存击穿

如果我们为缓存中的大部分数据设置了相同的过期时间,则到了某一时刻,缓存中的数据就会批量过期。

什么是缓存击穿?

如果缓存中的数据在某个时刻批量过期,导致大部分用户的请求都会直接落在数据库上,这种现象就叫作缓存击穿。

我么可以使用下图来表示缓存击穿的线程。

高并发下缓存穿透、击穿、雪崩问题的解决方案,落地到代码该如何实现?图片

造成缓存击穿的主要原因就是:我们为缓存中的数据设置了过期时间。如果在某个时刻从数据库获取了大量的数据,并设置了相同的过期时间,这些缓存的数据就会在同一时刻失效,造成缓存击穿问题。

如何解决缓存击穿问题?

对于比较热点的数据,我们可以在缓存中设置这些数据永不过期;也可以在访问数据的时候,在缓存中更新这些数据的过期时间;如果是批量入库的缓存项,我们可以为这些缓存项分配比较合理的过期时间,避免同一时刻失效。

还有一种解决方案就是:使用分布式锁,保证对于每个Key同时只有一个线程去查询后端的服务,某个线程在查询后端服务的同时,其他线程没有获得分布式锁的权限,需要进行等待。不过在高并发场景下,这种解决方案对于分布式锁的访问压力比较大。

缓存雪崩

如果缓存系统出现故障,所有的并发流量就会直接到达数据库。

什么是缓存雪崩?

如果在某一时刻缓存集中失效,或者缓存系统出现故障,所有的并发流量就会直接到达数据库。数据存储层的调用量就会暴增,用不了多长时间,数据库就会被大流量压垮,这种级联式的服务故障,就叫作缓存雪崩。

我们可以用下图来表示缓存雪崩的现象。

高并发下缓存穿透、击穿、雪崩问题的解决方案,落地到代码该如何实现?图片

造成缓存雪崩的主要原因就是缓存集中失效,或者缓存服务发生故障,瞬间的大并发流量压垮了数据库。

如何解决缓存雪崩问题?

解决缓存雪崩问题最常用的一种方案就是保证Redis的高可用,将Redis缓存部署成高可用集群(必要时候做成异地多活),可以有效的防止缓存雪崩问题的发生。

为了缓解大并发流量,我们也可以使用限流降级的方式防止缓存雪崩。例如,在缓存失效后,通过加锁或者使用队列来控制读数据库写缓存的线程数量。具体点就是设置某些Key只允许一个线程查询数据和写缓存,其他线程等待。则能够有效的缓解大并发流量对数据库打来的巨大冲击。

另外,我们也可以通过数据预热的方式将可能大量访问的数据加载到缓存,在即将发生大并发访问的时候,提前手动触发加载不同的数据到缓存中,并为数据设置不同的过期时间,让缓存失效的时间点尽量均匀,不至于在同一时刻全部失效。

落地代码

冰河已经将高并发场景下解决缓存穿透、击穿、雪崩问题的通用方案落地到代码,并开源,旨在让大家从源码级别更好的掌握解决缓存穿透、击穿和雪崩问题的通用方案。

开源项目是基于Redis解决缓存击穿、穿透和雪崩问题的通用解决方案,拿来即用。支持存储对象、集合、简单数据类型等。无需提前将数据存入Redis,直接使用提供的分布式缓存接口查询数据即可,附带完善的单元测试用例,方便学习使用,另外,项目的README.md文件中附带详细的核心接口定义、使用案例和单元测试场景。

开源地址如下,如果这个开源项目对你有点帮助,请给这个开源项目点个Star,万分感谢!

  • github:https://github.com/binghe001/spring-redis
  • gitee:https://gitee.com/binghe001/spring-redis
  • gitcode:http://www.zzvips.com/uploads/allimg/qlmpta4itj1

延伸 · 阅读

精彩推荐
  • Redis详解如何清理redis集群的所有数据

    详解如何清理redis集群的所有数据

    这篇文章主要介绍了详解如何清理redis集群的所有数据,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友...

    前路无畏11022021-07-26
  • RedisCentOS 6.5 64位下安装Redis3.0.2的具体步骤

    CentOS 6.5 64位下安装Redis3.0.2的具体步骤

    这篇文章主要介绍了CentOS 6.5 64位下安装Redis3.0.2的具体步骤,非常不错,具有一定的参考借鉴价值,需要的朋友可以参考下 ...

    沐春秋2592019-11-15
  • RedisRedis实现布隆过滤器的方法及原理

    Redis实现布隆过滤器的方法及原理

    布隆过滤器优点是空间效率和查询时间都比一般的算法要好的多,缺点是有一定的误识别率和删除困难。本文将介绍布隆过滤器的原理以及Redis如何实现布...

    平头一哥3132020-03-01
  • Redismac下设置redis开机启动方法步骤

    mac下设置redis开机启动方法步骤

    这篇文章主要介绍了mac下设置redis开机启动,本文详细的给出了操作步骤,需要的朋友可以参考下 ...

    redis教程网3472019-10-26
  • RedisRedisDesktopManager无法远程连接Redis的完美解决方法

    RedisDesktopManager无法远程连接Redis的完美解决方法

    下载RedisDesktopManager客户端,输入服务器IP地址,端口(缺省值:6379);点击Test Connection按钮测试连接,连接失败,怎么回事呢?下面小编给大家带来了Re...

    何和远15352019-11-12
  • RedisRedis入门教程详解

    Redis入门教程详解

    本文详细介绍了Redis,文中主要讲解了其基本数据结构、高级数据结构、高级特性、使用场景等,需要了解的朋友可以参考一下...

    女友在高考11132021-09-18
  • RedisRedis分布式非公平锁的使用

    Redis分布式非公平锁的使用

    分布式锁很多人都能接触到,本文主要介绍了Redis分布式非公平锁,具有一定的参考价值,感兴趣的小伙伴们可以参考一下...

    木得未来7662021-09-15
  • RedisRedis教程(十二):服务器管理命令总结

    Redis教程(十二):服务器管理命令总结

    这篇文章主要介绍了Redis教程(十二):服务器管理命令总结,本文讲解了CONFIGGETparameter、CONFIG SETparameter value、FLUSHALL等命令,需要的朋友可以参考下 ...

    Redis教程网4312019-10-24