服务器之家:专注于服务器技术及软件下载分享
分类导航

Mysql|Sql Server|Oracle|Redis|MongoDB|PostgreSQL|Sqlite|DB2|mariadb|Access|数据库技术|

服务器之家 - 数据库 - Redis - 详解基于redis实现的四种常见的限流策略

详解基于redis实现的四种常见的限流策略

2021-08-10 18:07烟花散尽13141 Redis

限流算法在分布式领域是一个经常被提起的话题,当系统的处理能力有限时, 如何阻止计划外的请求继续对系统施压,这是一个需要重视的问题。除了控制流量,限流还有一个应用目的是控制用户行为,避免垃圾请求

一、引言

  • 在web开发中功能是基石,除了功能以外运维和防护就是重头菜了。因为在网站运行期间可能会因为突然的访问量导致业务异常、也有可能遭受别人恶意攻击
  • 所以我们的接口需要对流量进行限制。俗称的qps也是对流量的一种描述
  • 针对限流现在大多应该是令牌桶算法,因为它能保证更多的吞吐量。除了令牌桶算法还有他的前身漏桶算法和简单的计数算法
  • 下面我们来看看这四种算法

二、固定时间窗口算法

  • 固定时间窗口算法也可以叫做简单计数算法。网上有很多都将计数算法单独抽离出来。但是笔者认为计数算法是一种思想,而固定时间窗口算法是他的一种实现
  • 包括下面滑动时间窗口算法也是计数算法的一种实现。因为计数如果不和时间进行绑定的话那么失去了限流的本质了。就变成了拒绝了

详解基于redis实现的四种常见的限流策略

优点:

  • 在固定的时间内出现流量溢出可以立即做出限流。每个时间窗口不会相互影响
  • 在时间单元内保障系统的稳定。保障的时间单元内系统的吞吐量上限

缺点:

  • 正如图示一样,他的最大问题就是临界状态。在临界状态最坏情况会受到两倍流量请求
  • 除了临界的情况,还有一种是在一个单元时间窗内前期如果很快的消耗完请求阈值。那么剩下的时间将会无法请求。这样就会因为一瞬间的流量导致一段时间内系统不可用。这在互联网高可用的系统中是不能接受的。

实现:

  • 好了,关于原理介绍及优缺点我们已经了解了。下面我们动手实现它
  • 首先我们在实现这种计数时,采用redis是非常好的选择。这里我们通过redis实现

controller

?
1
2
3
4
@requestmapping(value = "/start",method = requestmethod.get)
public map<string,object> start(@requestparam map<string, object=""> parammap) {
    return testservice.startqps(parammap);
}

service

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
@override
public map<string, object=""> startqps(map<string, object=""> parammap) {
    //根据前端传递的qps上线
    integer times = 100;
    if (parammap.containskey("times")) {
        times = integer.valueof(parammap.get("times").tostring());
    }
    string rediskey = "redisqps";
    redisatomicinteger redisatomicinteger = new redisatomicinteger(rediskey, redistemplate.getconnectionfactory());
    int no = redisatomicinteger.getandincrement();
    //设置时间固定时间窗口长度 1s
    if (no == 0) {
        redisatomicinteger.expire(1, timeunit.seconds);
    }
    //判断是否超限  time=2 表示qps=3
    if (no > times) {
        throw new runtimeexception("qps refuse request");
    }
    //返回成功告知
    map<string, object=""> map = new hashmap<>();
    map.put("success", "success");
    return map;
}

结果测试:

详解基于redis实现的四种常见的限流策略

我们设置的qps=3 , 我们可以看到五个并发进来后前三个正常访问,后面两个就失败了。稍等一段时间我们在并发访问,前三个又可以正常访问。说明到了下一个时间窗口

详解基于redis实现的四种常见的限流策略

详解基于redis实现的四种常见的限流策略

三、滑动时间窗口算法

  • 针对固定时间窗口的缺点--临界值出现双倍流量问题。 我们的滑动时间窗口就产生了。
  • 其实很好理解,就是针对固定时间窗口,将时间窗口统计从原来的固定间隔变成更加细度化的单元了。
  • 在上面我们固定时间窗口演示中我们设置的时间单元是1s 。 针对1s我们将1s拆成时间戳。
  • 固定时间窗口是统计单元随着时间的推移不断向后进行。而滑动时间窗口是我们认为的想象出一个时间单元按照相对论的思想将时间固定,我们的抽象时间单元自己移动。抽象的时间单元比实际的时间单元更小。
  • 读者可以看下下面的动图,就可以理解了。

详解基于redis实现的四种常见的限流策略

优点:

  • 实质上就是固定时间窗口算法的改进。所以固定时间窗口的缺点就是他的优点。
  • 内部抽象一个滑动的时间窗,将时间更加小化。存在边界的问题更加小。客户感知更弱了。

缺点:

  • 不管是固定时间窗口算法还是滑动时间窗口算法,他们都是基于计数器算法进行优化,但是他们对待限流的策略太粗暴了。
  • 为什么说粗暴呢,未限流他们正常放行。一旦达到限流后就会直接拒绝。这样我们会损失一部分请求。这对于一个产品来说不太友好

实现:

  • 滑动时间窗口是将时间更加细化,上面我们是通过redis#setnx实现的。这里我们就无法通过他统一记录了。我们应该加上更小的时间单元存储到一个集合汇总。然后根据集合的总量计算限流。redis的zsett数据结构就和符合我们的需求。
  • 为什么选择zset呢,因为redis的zset中除了值以外还有一个权重。会根据这个权重进行排序。如果我们将我们的时间单元及时间戳作为我们的权重,那么我们获取统计的时候只需要按照一个时间戳范围就可以了。
  • 因为zset内元素是唯一的,所以我们的值采用uuid或者雪花算法一类的id生成器

controller

?
1
2
3
4
@requestmapping(value = "/startlist",method = requestmethod.get)
public map<string,object> startlist(@requestparam map<string, object=""> parammap) {
    return testservice.startlist(parammap);
}

service

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
string rediskey = "qpszset";
integer times = 100;
if (parammap.containskey("times")) {
    times = integer.valueof(parammap.get("times").tostring());
}
long currenttimemillis = system.currenttimemillis();
long intermills = inter * 1000l;
long count = redistemplate.opsforzset().count(rediskey, currenttimemillis - intermills, currenttimemillis);
if (count > times) {
    throw new runtimeexception("qps refuse request");
}
redistemplate.opsforzset().add(rediskey, uuid.randomuuid().tostring(), currenttimemillis);
map<string, object=""> map = new hashmap<>();
map.put("success", "success");
return map;

结果测试:

详解基于redis实现的四种常见的限流策略

  • 和固定时间窗口采用相同的并发。为什么上面也会出现临界状况呢。因为在代码里时间单元间隔比固定时间间隔采用还要大 。 上面演示固定时间窗口时间单元是1s出现了最坏情况。而滑动时间窗口设计上就应该间隔更短。而我设置成10s 也没有出现坏的情况
  • 这里就说明滑动比固定的优处了。如果我们调更小应该更加不会出现临界问题,不过说到底他还是避免不了临界出现的问题

四、漏桶算法

  • 滑动时间窗口虽然可以极大程度的规避临界值问题,但是始终还是避免不了
  • 另外时间算法还有个致命的问题,他无法面对突如其来的大量流量,因为他在达到限流后直接就拒绝了其他额外流量
  • 针对这个问题我们继续优化我们的限流算法。 漏桶算法应运而生

详解基于redis实现的四种常见的限流策略

优点:

  • 面对限流更加的柔性,不在粗暴的拒绝。
  • 增加了接口的接收性
  • 保证下流服务接收的稳定性。均匀下发

缺点:

  • 我觉得没有缺点。非要鸡蛋里挑骨头那我只能说漏桶容量是个短板

实现:

controller

?
1
2
3
4
@requestmapping(value = "/startloutong",method = requestmethod.get)
public map<string,object> startloutong(@requestparam map<string, object=""> parammap) {
    return testservice.startloutong(parammap);
}

service在service中我们通过redis的list的功能模拟出桶的效果。这里代码是实验室性质的。在真实使用中我们还需要考虑并发的问题

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
@override
public map<string, object=""> startloutong(map<string, object=""> parammap) {
    string rediskey = "qpslist";
    integer times = 100;
    if (parammap.containskey("times")) {
        times = integer.valueof(parammap.get("times").tostring());
    }
    long size = redistemplate.opsforlist().size(rediskey);
    if (size >= times) {
        throw new runtimeexception("qps refuse request");
    }
    long along = redistemplate.opsforlist().rightpush(rediskey, parammap);
    if (along > times) {
        //为了防止并发场景。这里添加完成之后也要验证。  即使这样本段代码在高并发也有问题。此处演示作用
        redistemplate.opsforlist().trim(rediskey, 0, times-1);
        throw new runtimeexception("qps refuse request");
    }
    map<string, object=""> map = new hashmap<>();
    map.put("success", "success");
    return map;
}

下游消费

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
@component
public class schedulertask {
 
    @autowired
    redistemplate redistemplate;
 
    private string rediskey="qpslist";
 
    @scheduled(cron="*/1 * * * * ?")
    private void process(){
        //一次性消费两个
        system.out.println("正在消费。。。。。。");
        redistemplate.opsforlist().trim(rediskey, 2, -1);
    }
 
}

测试:

  • 我们还是通过50并发循环10次访问。我们可以发现只有在一开始能达到比较高的吞吐量。在随后桶的容量满了之后。而下游水滴速率比上游请求速率慢的情况下。只能以下游恒定的速度接收访问。
  • 他的问题也暴露的很明显。针对时间窗口的不足漏桶进行的不足,但是仍是不足。无法彻底避免请求溢出的问题。
  • 请求溢出本身就是一种灾难性的问题。所有的算法目前都没有解决这个问题。只是在减缓他带来的问题

详解基于redis实现的四种常见的限流策略

五、令牌桶算法

  • 令牌桶和漏桶法是一样的。只不过将桶的作用方向改变了一下。
  • 漏桶的出水速度是恒定的,如果流量突然增加的话我们就只能拒绝入池
  • 但是令牌桶是将令牌放入桶中,我们知道正常情况下令牌就是一串字符当桶满了就拒绝令牌的入池,但是面对高流量的时候正常加上我们的超时时间就留下足够长的时间生产及消费令牌了。这样就尽可能的不会造成请求的拒绝
  • 最后,不论是对于令牌桶拿不到令牌被拒绝,还是漏桶的水满了溢出,都是为了保证大部分流量的正常使用,而牺牲掉了少部分流量
?
1
2
3
4
5
6
7
8
9
10
11
public map<string, object=""> startlingpaitong(map<string, object=""> parammap) {
    string rediskey = "lingpaitong";
    string token = redistemplate.opsforlist().leftpop(rediskey).tostring();
    //正常情况需要验证是否合法,防止篡改
    if (stringutils.isempty(token)) {
        throw new runtimeexception("令牌桶拒绝");
    }
    map<string, object=""> map = new hashmap<>();
    map.put("success", "success");
    return map;
}
?
1
2
3
4
5
6
7
8
@scheduled(cron="*/1 * * * * ?")
private void process(){
    //一次性生产两个
    system.out.println("正在消费。。。。。。");
    for (int i = 0; i < 2; i++) {
        redistemplate.opsforlist().rightpush(rediskey, i);
    }
}

以上就是详解基于redis实现的四种常见的限流策略的详细内容,更多关于redis限流策略的资料请关注服务器之家其它相关文章!

原文链接:https://www.cnblogs.com/zhangxinhua/p/14893185.html

延伸 · 阅读

精彩推荐
  • Redis关于Redis数据库入门详细介绍

    关于Redis数据库入门详细介绍

    大家好,本篇文章主要讲的是关于Redis数据库入门详细介绍,感兴趣的同学赶快来看一看吧,对你有帮助的话记得收藏一下,方便下次浏览...

    沃尔码6982022-01-24
  • Redis详解三分钟快速搭建分布式高可用的Redis集群

    详解三分钟快速搭建分布式高可用的Redis集群

    这篇文章主要介绍了详解三分钟快速搭建分布式高可用的Redis集群,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,...

    万猫学社4502021-07-25
  • RedisRedis Template实现分布式锁的实例代码

    Redis Template实现分布式锁的实例代码

    这篇文章主要介绍了Redis Template实现分布式锁,需要的朋友可以参考下 ...

    晴天小哥哥2592019-11-18
  • RedisRedis集群的5种使用方式,各自优缺点分析

    Redis集群的5种使用方式,各自优缺点分析

    Redis 多副本,采用主从(replication)部署结构,相较于单副本而言最大的特点就是主从实例间数据实时同步,并且提供数据持久化和备份策略。...

    优知学院4082021-08-10
  • Redis《面试八股文》之 Redis十六卷

    《面试八股文》之 Redis十六卷

    redis 作为我们最常用的内存数据库,很多地方你都能够发现它的身影,比如说登录信息的存储,分布式锁的使用,其经常被我们当做缓存去使用。...

    moon聊技术8182021-07-26
  • Redis如何使用Redis锁处理并发问题详解

    如何使用Redis锁处理并发问题详解

    这篇文章主要给大家介绍了关于如何使用Redis锁处理并发问题的相关资料,文中通过示例代码介绍的非常详细,对大家学习或者使用Redis具有一定的参考学习...

    haofly4522019-11-26
  • RedisRedis 6.X Cluster 集群搭建

    Redis 6.X Cluster 集群搭建

    码哥带大家完成在 CentOS 7 中安装 Redis 6.x 教程。在学习 Redis Cluster 集群之前,我们需要先搭建一套集群环境。机器有限,实现目标是一台机器上搭建 6 个节...

    码哥字节15752021-04-07
  • Redisredis缓存存储Session原理机制

    redis缓存存储Session原理机制

    这篇文章主要为大家介绍了redis缓存存储Session原理机制详解,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪...

    程序媛张小妍9252021-11-25