Redis，就是这么朴实无华_Redis

Redis，就是这么朴实无华

Redis是2009年发布的，到今天已经超过10岁了。作为必备技能之一，关于它也有聊不完的话题。本文中的任何一个点，都可以展开，完成一篇中等规模的文章。

交流和面试时，你需要用最精准的语言进行描述，那么本文比较适合你。

redis能力：

1 0W/s QPS (redis-benchmark)
1w+ 长链接 (netstat / ss)
最复杂的Zset 6kw数据写入1k/s 读取5k/s 平均耗时5ms
持久化 (rdb)

1. 基本概览

学习一门新语言，重要的是掌握它的基本数据结构，以及这些数据结构的API。redis的这些数据结构，就类似一门语言。

Redis数据结构

常用5种，一共10种。面试时一般回答5种即可，但其他5种是加分项。

String字符串
Hash 字典
List 列表
Set集合
ZSet 有序集合。性能参考：《redis的zset有多牛?请把耳朵递过来》
Pubsub 发布订阅 (不推荐使用，坑很多)
Bitmap 位图
GEO 地理位置 (有限使用，附近的人)
Stream 流(5.0) (与Kafka非常像)
Hyperloglog 基数统计

Redis的协议

Redis是文本协议

RESP 以CRLF结尾(\r\n)
RESP3 (redis6启用，增加客户端缓存)

Redis底层数据结构

数据量较小和大数据量的时候，往往不同，关注大数据量的主要结构。

String-sds
Hash-(ziplist , dict)
Set-(intset,dict)
List-(ziplist,quicklist)
ZSet-(ziplist+skiptable 跳表)
Stream-(radix-tree 基数数)

跳表的关注度比较大，在Java中，可以参考类似ConcurrentSkipListMap实现。

另：Java中有序Set叫做TreeSet，但是用红黑树实现的，注意区别。

Redis持久化方式

生产环境，一般仅采用RDB模式。

RDB
AOF (类似Binglog row模式)
混合模式：RDB+AOF

O(n)指令

keys *
hgetall
smembers
sunion
...

建议在集合大小不确定的时候，使用scan hscan sscan zscan 替代。另外，像keys这种危险命令，最好使用RENAME指令给屏蔽掉。

性能优化

unlink删除key -> 异步避免阻塞
pipeline批量传输，减少网络RTT ->减少频繁网络交互
多值指令(mset，hmset)-> 减少频繁网络交互
关掉aof -> 避免io_wait

扩展方式

lua
redis-module

module模式知道的人比较少，属于比较底层的开发。

2. 问题排查

monitor指令回显所有执行的指令。可以使用grep配合过滤
keyspace-events 订阅某些Key的事件。比如，删除某条数据的事件，底层实现基于pubsub
slow log 顾名思义，满查询，非常有用
--bigkeys启动参数 Redis大Key健康检查。使用的是scan的方式执行，不用担心阻塞
memory usage key、memory stats 指令
info指令，关注instantaneous_ops_per_sec、used_memory_human、connected_clients
redis-rdb-tools rdb线下分析

3. 淘汰策略

如果你应聘的是redis dba，这道题答不出来，直接淘汰。

被动删除 (只有被get到的时候，删除并返回NIL 属于惰性删除)

主动删除 (100ms运行一次，随机删除持续25ms，类似Cron)

->内存使用超过maxmemory，触发主动清理策略

针对于第三种情况，有8种策略。注意，redis已经有LFU了。

默认volatile-lru 从设置过期数据集里查找最近最少使用

volatile-ttl 从设置过期的数据集里面优先删除剩余时间短的Key

volatile-random 从设置过期的数据集里面任意选择数据淘汰

volatile-lfu 从过期的数据集里删除最近不常使用的数据淘汰

allkeys-lru

allkeys-lfu

allkeys-random 数据被使用频次最少的,优先被淘汰

no-enviction

如果不设置maxmemory,Redis将一直使用内存，直到触发操作系统的OOM-KILLER。

4. 集群模式

单机
单机多实例
主从(1+n)
主从(1+n)& 哨兵(3或者基数个)
Redis Cluster (推荐，但使用有限制)。参考：《与亲生的Redis Cluster，来一次亲密接触》

互联网建议使用Redis Cluster，外包、项目随意。

大规模

twemproxy
codis
基于Netty Redis协议自研
管理平台：CacheCloud

5. Redis常见问题

Redis使用场景

缓存 (缓存一致性缓存穿透缓存击穿缓存雪崩)
分布式锁 (redlock)
分布式限流
Session

API举例：

zset 排行榜，排序
bitmap 用户签到，在线状态
geo 地理位置，附近的人
stream 类似kafka的消息流
hyperloglog 每日访问ip数统计

缓存一致性

为什么有一致性问题?

写入。缓存和数据库是两个不同的组件，只要涉及到双写，就存在只有一个写成功的可能性，造成数据不一致。
更新。更新的情况类似，需要更新两个不同的组件。
读取。读取要保证从缓存中读到的信息是最新的，是和数据库中的是一致的。
删除。当删除数据库记录的时候，如何把缓存中的数据也删掉?

建议使用：Cache Aside Pattern

读请求：

先读cache，再读db

变更操作：

先操作数据库，再淘汰缓存

涉及到复杂的事务和回滚操作，可以把淘汰放在finally里。

问题：缓存淘汰失败!(概率很低，定时补偿)

缓存击穿

影响，轻微。

高流量下大量请求读取一个失效的Key -> Redis Miss -> 穿透到DB

解决方式：采用分布式锁，只有拿到锁的第一个线程去请求数据库，然后插入缓存

缓存穿透

影响，一般。

访问一个不存在的Key(恶意攻击)-> Redis Miss -> 穿透到DB

解决方式：

给相应的Key设置一个Null值，放在缓存中

BloomFilter预先判断

缓存雪崩

影响：严重。

大量Key同时失效 | 2.Redis当机 -> Redis Miss -> 压力打到DB

解决方式：

给失效时间加上相对的随机数

保证Redis的高可用

分布式锁

redis的分布式锁，并不是那么简单。建议使用redisson的redlock。最基础的指令是setnx。

setnx-> SET key value [EX seconds|PX milliseconds|KEEPTTL] [NX|XX] [GET]

分布式锁关键点：

原子性
锁超时
死锁
读写锁
故障转移

最简单的Redis分布式锁代码(不严谨)。

java端代码模拟lock和unlock。

public String lock(String key, int timeOutSecond) {

    for (; ; ) {

        String stamp = String.valueOf(System.nanoTime());

        boolean exist = redisTemplate.opsForValue().setIfAbsent(key, stamp, timeOutSecond, TimeUnit.SECONDS);

        if (exist) {

            return stamp;

        }

    }

}

public void unlock(String key, String stamp) {

    redisTemplate.execute(script, Arrays.asList(key), stamp);

}