服务器之家:专注于服务器技术及软件下载分享
分类导航

Mysql|Sql Server|Oracle|Redis|MongoDB|PostgreSQL|Sqlite|DB2|mariadb|Access|数据库技术|

服务器之家 - 数据库 - Redis - 简介Redis中的showlog功能

简介Redis中的showlog功能

2019-10-25 16:52goldensun Redis

这篇文章主要介绍了简介Redis中的showlog功能,作者同时对比了DEL命令的性能,需要的朋友可以参考下

Redis 有一个实用的slowlog功能,正如你可以猜到的,可以让你检查运行缓慢的查询. Slowlog 将会记录运行时间超过Y微秒的最后X条查询. X 和 Y 可以在 redis.conf 或者在运行时通过 CONFIG 命令:
 
 

复制代码代码如下:
CONFIG SET slowlog-log-slower-than 5000
CONFIG SET slowlog-max-len 25

 

进行设置。

slowlog-log-slower-than 是用来设置微秒数的, 因此上面的设置将记录执行时间超过5秒的查询. 要获取记录的日志,你可以使用 SLOWLOG GET X 命令, 这里 X 是你想要获取的记录条数:
 
 

复制代码代码如下:
SLOWLOG GET 10

 

它将会展示一个唯一的id,时间戳和发生的查询,查询执行所花掉的时间和实际被执行的命令+参数. 你可以通过SLOWLOG RESET擦出日志.


最后一次查看slowlog,我很不淡定的看到DEL命令的执行竟然花了超过20毫秒的时间. 还记得吗,Redis是单线程的,因此这样会阻塞(并且严重的有碍)我们系统的并发. 还有,因为这是一个写操作,它将会在向所有从属Redis服务复制的时候阻塞这一复制过程. 额,到底这是咋回事呢?

也许除了我之外所有人都知道这个问题了,但是这证明了Redis的DEL命令的时间复杂度对于字符串和哈希值而言是O(1),而对于list、set和sorted set而言则是O(N) (这里的 N 是集合中数据项的数目). 你会删除一个包含数百万条数据的set吗? 那就等着阻塞吧.

我们的解决方案很简单: 不去删除这些数据项,而是将它们重命名,并且在后台作业中用小而可间断的块去执行对它们的删除操作. 首先,是我们的delayed_delete函数:

  1. local key = KEYS[1] 
  2. local data_type = redis.call('type', key).ok 
  3.    
  4. if data_type == 'set' or data_type == 'zset' then 
  5.  local temp = 'gc:tmp:' .. redis.call('incr''gc:ids') .. ':' .. key 
  6.  redis.call('rename', key, temp) 
  7.  return redis.call('sadd''gc:' .. data_type, temp) 
  8. end 
  9.    
  10. return redis.call('del', key)  

这将会将集合重命名,并且将新的名称添加到gc:set 或者 gc:zset set中 (我们没有使用 list, 但如果你使用了的话,你也应该向其加入这方面的支持).

下一步我们安排了一个Ruby脚本每分钟运行一次:

  1. require 'redis' 
  2. r = Redis.new(driver: :hiredis) 
  3. r.srandmember('gc:set', 10000).each do |set| 
  4.  items = r.srandmember(set, 5000) 
  5.  if items.nil? || items.length == 0 
  6.   r.srem('gc:set', set) 
  7.   next 
  8.  end 
  9.  r.srem(set, items) 
  10. end 
  11.    
  12. r.srandmember('gc:zset', 10000).each do |zset| 
  13.  if r.zremrangebyrank(zset, 0, 5000) < 5000 
  14.   r.srem('gc:zset', zset) 
  15.  end 
  16. end 
 

你可以基于自己的需要将修改数字. 你的集合有多大,以及它们被删除有多频繁? 因为我们不去太过频繁的做这些类型的产出操作, 我们可以一次只进行一小块的删除操作.

不过这种方法比直接删除更加的慢, 但它在并发的环境下却可以表现得很好.

延伸 · 阅读

精彩推荐
  • Redis详解Redis复制原理

    详解Redis复制原理

    与大多数db一样,Redis也提供了复制机制,以满足故障恢复和负载均衡等需求。复制也是Redis高可用的基础,哨兵和集群都是建立在复制基础上实现高可用的...

    李留广10222021-08-09
  • RedisRedis如何实现数据库读写分离详解

    Redis如何实现数据库读写分离详解

    Redis的主从架构,能帮助我们实现读多,写少的情况,下面这篇文章主要给大家介绍了关于Redis如何实现数据库读写分离的相关资料,文中通过示例代码介绍...

    罗兵漂流记6092019-11-11
  • Redisredis 交集、并集、差集的具体使用

    redis 交集、并集、差集的具体使用

    这篇文章主要介绍了redis 交集、并集、差集的具体使用,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友...

    xiaojin21cen10152021-07-27
  • RedisRedis全量复制与部分复制示例详解

    Redis全量复制与部分复制示例详解

    这篇文章主要给大家介绍了关于Redis全量复制与部分复制的相关资料,文中通过示例代码介绍的非常详细,对大家学习或者使用Redis爬虫具有一定的参考学习...

    豆子先生5052019-11-27
  • RedisRedis 事务知识点相关总结

    Redis 事务知识点相关总结

    这篇文章主要介绍了Redis 事务相关总结,帮助大家更好的理解和学习使用Redis,感兴趣的朋友可以了解下...

    AsiaYe8232021-07-28
  • Redisredis实现排行榜功能

    redis实现排行榜功能

    排行榜在很多地方都能使用到,redis的zset可以很方便地用来实现排行榜功能,本文就来简单的介绍一下如何使用,具有一定的参考价值,感兴趣的小伙伴们...

    乘月归5022021-08-05
  • Redisredis中如何使用lua脚本让你的灵活性提高5个逼格详解

    redis中如何使用lua脚本让你的灵活性提高5个逼格详解

    这篇文章主要给大家介绍了关于redis中如何使用lua脚本让你的灵活性提高5个逼格的相关资料,文中通过示例代码介绍的非常详细,对大家的学习或者工作具...

    一线码农5812019-11-18
  • RedisRedis的配置、启动、操作和关闭方法

    Redis的配置、启动、操作和关闭方法

    今天小编就为大家分享一篇Redis的配置、启动、操作和关闭方法,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧 ...

    大道化简5312019-11-14