服务器之家:专注于服务器技术及软件下载分享
分类导航

Mysql|Sql Server|Oracle|Redis|MongoDB|PostgreSQL|Sqlite|DB2|mariadb|Access|数据库技术|

服务器之家 - 数据库 - Redis - 详解Redis 分布式锁遇到的序列化问题

详解Redis 分布式锁遇到的序列化问题

2021-07-29 15:35WriteOnRead Redis

这篇文章主要介绍了Redis 分布式锁遇到的序列化问题,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧

场景描述

最近使用 Redis 遇到了一个类似分布式锁的场景,跟 Redis 实现分布式锁类比一下,就是释放锁失败,也就是缓存删不掉。又踩了一个 Redis 的坑……
这是什么个情况、又是怎样排查的呢?
本文主要对此做个复盘。

问题排查

既然是释放锁有问题,那就先看看释放锁的代码吧。

释放锁

释放锁使用了 Lua 脚本,代码逻辑和 Lua 脚本如下:

释放锁示例代码

?
1
2
3
4
5
6
7
public Object release(String key, String value) {
 Object existedValue = stringRedisTemplate.opsForValue().get(key);
 log.info("key:{}, value:{}, redis旧值:{}", key, value, existedValue);
 
 DefaultRedisScript<Long> redisScript = new DefaultRedisScript<>(COMPARE_AND_DELETE, Long.class);
 return stringRedisTemplate.execute(redisScript, Collections.singletonList(key), value);
}

释放锁使用的 Lua 脚本

?
1
2
3
4
5
6
if redis.call('get',KEYS[1]) == ARGV[1]
then
 return redis.call('del',KEYS[1])
else
 return 0
end;

删除脚本中,会先获取 Redis key 的旧值,并与入参 value 比较,二者相等时才会删除。
如果释放成功,也就是 Redis 缓存删除成功,返回值为 1,否则失败返回为 0。
乍一看代码似乎没啥问题,测一下试试?
不过既然要释放锁,在此之前肯定要加锁,先看看加锁的逻辑吧。

加锁

说到加锁这里的逻辑,代码里有两种实现方式:

示例代码一

?
1
2
3
4
public Object lock01(String key, String value) {
 log.info("lock01, key={}, value={}", key, value);
 return redisTemplate.opsForValue().setIfAbsent(key, value, LOCKED_TIME, TimeUnit.SECONDS);
}

示例代码二

?
1
2
3
4
public Object lock02(String key, String value) {
 log.info("lock02, key={}, value={}", key, value);
 return stringRedisTemplate.opsForValue().setIfAbsent(key, value, LOCKED_TIME, TimeUnit.SECONDS);
}

其实它们的区别就在于前者使用了 RedisTemplate,而后者使用的是 StringRedisTemplate。

Q: 等等……为什么会有两个 template??
A: 憋说了,是我挖的坑,RedisTemplate 是我加的……现在回想都没想明白当初为什么这样搞,可能真是脑子一时抽风了。

先测试一下这两个方法?

测试一下

使用两种方式分别加锁,其中:lock01 为 k1 和 v1,lock02 为 k2 和 v2。
分别看下 k1、k2 的值(使用工具:RDM, Redis Desktop Manager):

详解Redis 分布式锁遇到的序列化问题

详解Redis 分布式锁遇到的序列化问题

可以看到 v1 是有双引号的,而 v2 没有。
猜测应该是序列化的问题,看看 Redis 配置?

RedisTemplate 配置

加锁那里可以看到,k1 使用了 RedisTemplate,而 k2 是 StringRedisTemplate,它们两个的配置有什么区别呢?
其中 RedisTemplate 的配置是自定义的,如下:

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
@Configuration
@AutoConfigureAfter(RedisAutoConfiguration.class)
public class RedisConfig {
 @Bean
 public RedisTemplate<String, Object> redisTemplate(RedisConnectionFactory redisConnectionFactory) {
 RedisTemplate<String, Object> redisTemplate = new RedisTemplate<>();
 redisTemplate.setConnectionFactory(redisConnectionFactory);
 
 // 使用 Jackson2JsonRedisSerialize 替换默认序列化
 Jackson2JsonRedisSerializer<Object> jackson2JsonRedisSerializer
  = new Jackson2JsonRedisSerializer<>(Object.class);
 
 ObjectMapper objectMapper = new ObjectMapper();
 objectMapper.setVisibility(PropertyAccessor.ALL, JsonAutoDetect.Visibility.ANY);
 objectMapper.enableDefaultTyping(ObjectMapper.DefaultTyping.NON_FINAL);
 objectMapper.configure(DeserializationFeature.FAIL_ON_UNKNOWN_PROPERTIES, false);
 
 jackson2JsonRedisSerializer.setObjectMapper(objectMapper);
 
 // 设置 key、value 的序列化规则(尤其是 value)
 redisTemplate.setKeySerializer(new StringRedisSerializer());
 redisTemplate.setValueSerializer(jackson2JsonRedisSerializer);
 redisTemplate.afterPropertiesSet();
 
 return redisTemplate;
 }
}

StringRedisTemplate 的配置是 SpringBoot 默认的,即:

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
@Configuration
@ConditionalOnClass({RedisOperations.class})
@EnableConfigurationProperties({RedisProperties.class})
@Import({LettuceConnectionConfiguration.class, JedisConnectionConfiguration.class})
public class RedisAutoConfiguration {
 public RedisAutoConfiguration() {
 }
 
 @Bean
 @ConditionalOnMissingBean
 public StringRedisTemplate stringRedisTemplate(RedisConnectionFactory redisConnectionFactory) throws UnknownHostException {
 StringRedisTemplate template = new StringRedisTemplate();
 template.setConnectionFactory(redisConnectionFactory);
 return template;
 }
}

PS: SpringBoot 版本为 2.1.13.RELEASE

点进去 StringRedisTemplate 看下:

?
1
2
3
4
5
6
7
8
9
10
11
public class StringRedisTemplate extends RedisTemplate<String, String> {
 
 public StringRedisTemplate() {
 // 注意这里的序列化设置
 setKeySerializer(RedisSerializer.string());
 setValueSerializer(RedisSerializer.string());
 setHashKeySerializer(RedisSerializer.string());
 setHashValueSerializer(RedisSerializer.string());
 }
 // ...
}

注意下序列化设置,继续跟进,看到底是什么方式:

?
1
2
3
4
5
public interface RedisSerializer<T> {
 static RedisSerializer<String> string() {
 return StringRedisSerializer.UTF_8;
 }
}
?
1
2
3
4
public class StringRedisSerializer implements RedisSerializer<String> {
 public static final StringRedisSerializer UTF_8 = new StringRedisSerializer(StandardCharsets.UTF_8);
 // ...
}

可以看到,StringRedisTemplate 的 key 和 value 默认都是用 StringRedisSerializer(StandardCharsets.UTF_8) 进行序列化的。

而 RedisTemplate 的 key 使用 StringRedisSerializer,value 使用的是 Jackson2JsonRedisSerializer 序列化(至于为什么用这个,这里就不是我写的了)。
到这里,基本可以定位到问题所在了:就是 RedisTemplate 的 value 序列化和 StringRedisTemplate 不一致。

如果改成一致就可以了吗?验证一下试试。

验证推论

把 RedisTemplate 的 value 序列化方式修改为 StringRedisSerializer:

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
@Configuration
@AutoConfigureAfter(RedisAutoConfiguration.class)
public class RedisConfig {
 @Bean
 public RedisTemplate<String, Object> redisTemplate(RedisConnectionFactory redisConnectionFactory) {
 RedisTemplate<String, Object> redisTemplate = new RedisTemplate<>();
  
 // ...
 
 redisTemplate.setKeySerializer(new StringRedisSerializer());
 redisTemplate.setValueSerializer(new StringRedisSerializer());
 
 // ...
 return redisTemplate;
 }
}

再调用两种加锁逻辑,看下 k1、k2 的值:

详解Redis 分布式锁遇到的序列化问题

详解Redis 分布式锁遇到的序列化问题

可以看到,v1 的双引号没了,释放锁的服务也能正常删掉了。
嗯,就是这里的问题。
至于两者序列化的源码,有兴趣的盆友们可以继续研究,这里就不再深入探讨了。

小结

本文遇到的这个问题,主要是因为使用了不同的 RedisTemplate 来加锁和释放锁,而这两个 template 使用了不同的序列化方式,最终还是序列化带来的问题。
当初真是草率了,而且一时还没测出来……
对于生产环境,还是要慎之又慎:如临深渊,如履薄冰。

到此这篇关于Redis 分布式锁遇到的序列化问题的文章就介绍到这了,更多相关Redis 分布式锁遇到的序列化问题内容请搜索服务器之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持服务器之家!

原文链接:https://juejin.cn/post/6943031449566052365

延伸 · 阅读

精彩推荐
  • RedisWindows下Redis的安装使用教程

    Windows下Redis的安装使用教程

    这篇文章主要以图文结合的方式为大家详细介绍了Windows下Redis的安装使用,Redis的出现,很大程度补偿了memcached这类key/value存储的不足,在部分场合可以对...

    CSDN3952019-10-29
  • Redis浅谈Redis中的内存淘汰策略和过期键删除策略

    浅谈Redis中的内存淘汰策略和过期键删除策略

    本文主要介绍了浅谈Redis中的内存淘汰策略和过期键删除策略,文中通过示例代码介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们可以参考一下...

    纪先生9002021-11-14
  • RedisRedis挂了,流量把数据库也打挂了,怎么办?

    Redis挂了,流量把数据库也打挂了,怎么办?

    Redis 挂了,不就是缓存都没了吗?缓存都没了,不就是缓存雪崩了吗?缓存雪崩了,不就导致数据库挂了吗?一提到“缓存雪崩”这四个字,缓存穿透、缓存击...

    why技术8672021-08-11
  • RedisRedis如何实现分布式锁

    Redis如何实现分布式锁

    相信大家对锁已经不陌生了,本文主要介绍了Redis如何实现分布式锁,文中通过示例代码介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们可以参...

    公众号程序员学长11082021-09-17
  • Redis一次关于Redis内存诡异增长的排查过程实战记录

    一次关于Redis内存诡异增长的排查过程实战记录

    这篇文章主要给大家分享了一次关于Redis内存诡异增长的排查过程实战记录,文中通过示例代码介绍的非常详细,对大家学习或者使用Redis具有一定的参考学...

    付磊2962019-11-15
  • Redis使用Redis实现用户积分排行榜的教程

    使用Redis实现用户积分排行榜的教程

    这篇文章主要介绍了使用Redis实现用户积分排行榜的教程,包括一个用PHP脚本进行操作的例子,需要的朋友可以参考下 ...

    Redis教程网4572019-10-23
  • Redis简单实用!利用Redis轻松实现高并发全局ID生成器

    简单实用!利用Redis轻松实现高并发全局ID生成器

    Redis作为高性能的KV数据库,并且操作还是原子性的,所以用来做支持高并发的发号器十分合适。 本文给大家介绍3种常见的全局ID生成方式。 1、全局递增...

    未知802023-05-07
  • RedisRedis面试题常见问答

    Redis面试题常见问答

    通常,我们会使用缓存用于缓冲对 DB 的冲击,如果缓存宕机,所有请求将直接打在 DB,造成 DB 宕机——从而导致整个系统宕机。...

    民工哥技术之路3082020-07-18