服务器之家:专注于服务器技术及软件下载分享
分类导航

Mysql|Sql Server|Oracle|Redis|MongoDB|PostgreSQL|Sqlite|DB2|mariadb|Access|数据库技术|

服务器之家 - 数据库 - Redis - 看完Redis缓存穿透、缓存击穿、缓存雪崩来吊打面试官!

看完Redis缓存穿透、缓存击穿、缓存雪崩来吊打面试官!

2023-12-07 05:00未知服务器之家 Redis

一、前言 「Redis 是一个开源(BSD许可)的,内存中的数据结构存储系统,它可以用作数据库、缓存和消息中间件。」 Redis在缓存应用中还是很广泛的,项目中也经常使用。基本上面试中肯定都会问到,总结一下增强记忆哈! 在享

看完Redis缓存穿透、缓存击穿、缓存雪崩来吊打面试官!

一、前言

「Redis 是一个开源(BSD许可)的,内存中的数据结构存储系统,它可以用作数据库、缓存和消息中间件。」

Redis在缓存应用中还是很广泛的,项目中也经常使用。基本上面试中肯定都会问到,总结一下增强记忆哈!

在享受缓存带来的好处的同时,当然要防止这些不好的方面。

下面我们一起来看看这三种情况的产生原因和解决方案!

「总结: 这三种情况都是在大量请求来的时候,Redis没有命中,请求直接打到数据库,从而导致数据库挂掉!」

Redis缓存简图:

看完Redis缓存穿透、缓存击穿、缓存雪崩来吊打面试官!

二、缓存穿透

1、产生原因

「大量请求的 key 是不合理的,缓存中根本不存在(数据库中一般也不存在),导致这些请求绕过缓存直接访问数据库,给数据库造成了巨大的压力,随时可能宕机。」

  • 恶意查询,如查询id为负数等等。
  • key过期,突然来了大量请求时。
  • key没有提前预热,突然来了大量请求时。

2、解决方案

  • 设置缓存空值:查询数据库没有结果,将空值缓存,但必须设置一个合理的过期时间。
  • 布隆过滤器:是一种用于判断一个元素是否属于一个集合的数据结构。
  • 合理判断参数的范围:非负数等等。
  • 限制并发查询:保证只有一个线程去查询底层数据源,其他线程等待查询结果。

3、具体方案

「设置缓存空值:」

redis有一个配置,可以把从数据库查询出来为空的也缓存到Redis中,也可以自己在代码中写,顺便加上过期时间,也可以配置过期时间,这样是全局都是这个过期时间了,不太建议这样!

spring:
  cache: 
    redis:
      cache-null-value: true
      time-to-live: 30s

「限制并发查询:」

@Cacheable(value={"category"},key = "#root.methodName",sync = true)

sync = true:表示多个线程在尝试获取缓存数据的时候会被阻塞,直到第一个线程从数据库加载数据并放入缓存后,其他线程才能获取到缓存中的数据。这样可以避免多个线程同时查询底层数据库,减轻数据库负载,但会降低并发性能。 默认为false,不开启

「布隆过滤器:」

布隆过滤器(Bloom Filter)是一种用于判断一个元素是否属于一个集合的数据结构。它的主要特点是高效地判断元素是否存在于集合中,且具有空间和时间效率高的优点。布隆过滤器不会存储实际的数据,而是通过一系列的哈希函数和位数组来判断元素的存在。

看完Redis缓存穿透、缓存击穿、缓存雪崩来吊打面试官!

「当布隆过滤器判断元素不存在时,元素一定不存在,元素存在时,元素不一定存在!」

是不是有点绕,我们在详细说一下:

布隆过滤器有一定的假阳性概率,即在判断元素存在时,有可能出现错误的结果。这是因为多个元素可能产生相同的哈希值,导致位数组中的位被设置为1。

「布隆过滤器一旦添加了元素,就不能删除,因为删除元素会影响其他元素的判断结果。」

一般引入guava中的BloomFilter来实现布隆过滤器!如果喜欢用Hutool,也是有实现的!

下面小编给大家简单的写个demo,大家感受一下!

「引入依赖」

<dependency>
    <groupId>com.google.guava</groupId>
    <artifactId>guava</artifactId>
    <version>30.1-jre</version>
</dependency>

「配置布隆过滤器」

/**
 * @author wangzhenjun
 * @date 2023/11/7 17:08
 */
@Configuration
public class BloomFilterConfig {

    // 预期插入的元素个数,从配置文件里拿
    private static final Integer EXPECTED_INSERTIONS = 100000;

    // 期望的误判率,值越低,布隆过滤器计算时间越长,从配置文件里拿
    private static final Double FPP = 0.03;

    @Bean
    public BloomFilter<String> bloomFilter(){
        BloomFilter<String> filter = BloomFilter.create(Funnels.stringFunnel(Charset.forName("utf-8")), EXPECTED_INSERTIONS,FPP);
        return filter;
    }

}

「简单测试」

为了简单,直接写在启动类上了,大家不要学哈!

@EnableAsync
@MapperScan("com.example.demonew.demo.mapper")
@EnableTransactionManagement
@SpringBootApplication
public class DemoNewApplication {

    @Autowired
    private BloomFilter bloomFilter;

    public static void main(String[] args) {
        SpringApplication.run(DemoNewApplication.class, args);

    }

    @PostConstruct
    public void init(){
        bloomFilter.put("123");
        boolean b = bloomFilter.mightContain("123");
        System.out.println("是否存在:" + b);
    }

}

看完Redis缓存穿透、缓存击穿、缓存雪崩来吊打面试官!

三、缓存击穿

1、产生原因

「缓存击穿是指当缓存中某个热点key刚刚过期(一般和缓存穿透区别在于热点数据存在于数据库中),在热点数据重新放入缓存之前,瞬间大量的请求绕过缓存,直接打到数据库,数据库随时宕机!」

并发访问热点key:多个并发请求同时访问相同的缓存键

缓存策略问题:设置了过于短的缓存过期时间,容易导致缓存频繁失效。

「一般出现在秒杀中,秒杀都会提前预热,设置key直到活动结束才会过期!」

2、解决方案

  • 缓存预热:系统启动或缓存过期之前,预先加载常用数据到缓存中。
  • key永不过期或者使用期间内不过期。
  • 限制并发查询:保证只有一个线程去查询底层数据源,其他线程等待查询结果。
  • 接口限流、熔断、降级。

3、具体方案

「缓存预热:」

在项目启动时,或者定时任务扫描进行预热!

「限制并发查询:」

@Cacheable(value={"category"},key = "#root.methodName",sync = true)、

详细解释上面已经说过了哈!

「接口限流、熔断、降级」

可以引入:Sentinel来帮助我们更好的限流、熔断、降级,这里就不详细演示了!

四、缓存雪崩

1、产生原因

「缓存雪崩是指缓存中大量key到了过期时间,导致大量的请求直接打到数据库上,数据库随时宕机!」

  • redis服务宕机:redis挂了,所有的key都无法访问
  • 批量设置大量key相同的过期时间

2、解决方案

  • redis搭建集群或者哨兵。
  • 随机设置缓存的失效时间(合理范围内的随机时间),或者用不过期(不建议)。
  • 限制并发查询:保证只有一个线程去查询底层数据源,其他线程等待查询结果。
  • 接口限流、熔断、降级。
  • 多级缓存

「这个多级缓存,能不加不加,加了就需要考虑一致性,增加很多复杂度!」

其实缓存击穿和缓存雪崩是很相似的,解决方案,大家也可以看出来很多相同的!这就引出下一个经常问到的问题:

3、具体解决方案

关于Redis的哨兵搭建可以看一下之前写的文章,这里就不演示了!

关于多级缓存,可以引入本地缓存Caffeine。

4、补充

「缓存击穿和缓存雪崩的区别?」

缓存击穿是缓存中某个热点key不存在了,缓存雪崩是缓存中大量或者所有key都不存在了

他俩的根本区别在于一个是单个key,一个是多个甚至全部key!

五、缓存污染

这里补充一下,关于缓存污染的吧!

1、产生原因

缓存污染指缓存中一些访问次数很少的key,甚至只有一次!但是缓存中会存储着,占用内存空间。随着时间越来越久,内存很快被占满,就需要开启淘汰策略去额外处理这些多余的key,影响redis性能。

2、解决方案

  • 对与key进行监控,不常用key不需要加入缓存。
  • 分析出key访问次数很少,设置过期时间短一些。
  • 配置淘汰策略:LRU(最近最少使用)淘汰策略。

最主要还是要把不常用的key找到,后面不在加入缓存,从根本上解决!

还会出现在多个节点之间的数据同步出现数据不统一时产生,这个东西不好避免,因为Redis 是AP(可用性和分区容忍性),在多节点时,一半以上同步完成时,就认为同步成功了!

六、缓存一致性

引入了缓存就必须要保持缓存的一致性,不然加了缓存没有任何意义!

网上关于缓存一致性的文章很多,什么延迟双删等等。

这些都不如阿里Canal,这个是通过监听MySQL的Bin Log日志,来去更新到缓存中!

七、总结

今天我们深入具体的讨论了Redis缓存穿透、缓存击穿、缓存雪崩的产生原因和解决方案,补充了缓存污染和缓存一致性。

是不是有了深刻的印象,这些东西在企业级还是挺常见的,在面试过程中更加常见。 相信大家从头看到尾,对于面试肯定是没有任何问题的。

在企业级应用中,一定要具体情况具体分析,不要盲目照搬,不一定适合你们的需求。

延伸 · 阅读

精彩推荐
  • RedisRedis都做了哪些加快速度的设计

    Redis都做了哪些加快速度的设计

    这篇文章主要介绍了Redis都做了哪些加快速度的设计的相关资料,需要的朋友可以参考下...

    双子孤狼11222021-07-26
  • RedisRedis怎么实现分布式锁

    Redis怎么实现分布式锁

    阿粉最近迷上了 Redis,为什么呢?感觉 Redis 确实功能很强大呀,一个基于内存的系统 Key-Value 存储的数据库,竟然有这么多的功能,而阿粉也要实实在在地...

    今日头条7322022-01-06
  • RedisRedis主从集群切换数据丢失的解决方案

    Redis主从集群切换数据丢失的解决方案

    这篇文章主要介绍了Redis主从集群切换数据丢失的解决方案,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧...

    不清不慎6332021-07-31
  • RedisRedis和Memcache的区别总结

    Redis和Memcache的区别总结

    这篇文章主要介绍了Redis和Memcache的区别,用三个总结来说明Redis和Memcache的区别,需要的朋友可以参考下...

    Redis教程网11172021-10-19
  • RedisRedis集群的相关详解

    Redis集群的相关详解

    这篇文章主要介绍了Redis集群的相关,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来...

    小白写程序3742019-11-23
  • Redisk8s部署redis cluster集群的实现

    k8s部署redis cluster集群的实现

    在Kubernetes中部署Redis集群面临挑战,因为每个Redis实例都依赖于一个配置文件,该文件可以跟踪其他集群实例及其角色。需要的朋友们下面随着小编来一起...

    最爱喝酸奶10282021-08-12
  • RedisWindows安装Redis并添加本地自启动服务的实例详解

    Windows安装Redis并添加本地自启动服务的实例详解

    这篇文章主要介绍了Windows安装Redis并添加本地自启动服务的实例详解,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋...

    愺様10132020-12-29
  • Redis详解Redis缓存穿透/击穿/雪崩原理及其解决方案

    详解Redis缓存穿透/击穿/雪崩原理及其解决方案

    缓存可以比喻为防弹衣,但如果没有使用好这个防弹衣效果就会适得其反,所以要更好的使用缓存才能发挥出它的作用。本文详细讲解了缓存穿透/击穿/雪...

    张铁牛9282021-09-28