服务器之家:专注于服务器技术及软件下载分享
分类导航

Mysql|Sql Server|Oracle|Redis|MongoDB|PostgreSQL|Sqlite|DB2|mariadb|Access|数据库技术|

服务器之家 - 数据库 - Redis - Redis轻松添加从节点:零阻塞、零烦恼,系统性能再飙升

Redis轻松添加从节点:零阻塞、零烦恼,系统性能再飙升

2023-11-23 05:00未知服务器之家 Redis

一、措施 当向Redis主节点添加从节点时,可以采取以下措施以最大程度地减少对主节点的阻塞和影响: 使用初始同步: 在添加从节点之前,可以先使用初始同步功能将主节点的数据复制到从节点。这样,在将从节点添加到主节点

Redis轻松添加从节点:零阻塞、零烦恼,系统性能再飙升

一、措施

当向Redis主节点添加从节点时,可以采取以下措施以最大程度地减少对主节点的阻塞和影响:

  • 使用初始同步:在添加从节点之前,可以先使用初始同步功能将主节点的数据复制到从节点。这样,在将从节点添加到主节点之前,从节点已经具有与主节点相同的数据集。通过这种方式,可以避免在添加从节点时对主节点进行复制,减少对主节点的阻塞。
  • 使用复制积压缓冲区:Redis提供了复制积压缓冲区(repl-backlog)的配置选项。通过适当调整该选项的大小,可以在添加从节点时允许主节点保存一定数量的复制命令,而不会阻塞主节点。复制积压缓冲区可以在一定程度上缓解主节点与从节点之间的网络延迟和传输速率不匹配的问题。
  • 配置合理的复制延迟:可以通过调整从节点的复制延迟(replica-replica-lag)来减轻主节点的压力。将复制延迟设置为适当的值,可以使从节点稍微滞后于主节点,从而减少对主节点的复制负载。
  • 增加主节点的资源:如果主节点的负载较重,而添加从节点会进一步加重主节点的负担,可以考虑增加主节点的资源,如增加内存、CPU等。这样可以提高主节点的处理能力,使其能够更好地处理复制请求和其他客户端请求。
  • 控制并发复制连接数:可以通过限制从节点的并发复制连接数,以控制对主节点的并发复制请求。通过适当设置最大连接数,可以确保主节点不会过载。
  • 调整其他复制相关参数: 通过加大复制相关参数的值,可以使得在大数据量复制过程中不会因为时间过长或数据在缓冲区中被刷掉导致初始化失败。

二、具体操作

1、配置复制积压缓冲区

通过配置复制积压缓冲区大小,我们可以在添加从节点时缓解主从节点之间的网络延迟。

在主节点的redis.conf文件中添加以下配置:

repl-backlog-size 10mb  # 适当调整大小,根据需求设置

或 通过config set 命令进行设置。

config set repl-backlog-size 10mb

这个缓冲区将保存历史复制数据,确保即使在添加从节点期间也能保留完整的复制记录。

2、配置复制延迟

调整从节点的复制延迟,以确保从节点稍微滞后于主节点,减轻主节点的复制压力。执行以下命令:

CONFIG SET replica-replica-lag 5  # 适当调整延迟时间

这样可以确保从节点不会对主节点造成过大的负担。

3、增加主节点资源

如果主节点负载较重,考虑增加主节点的资源。增加内存、CPU等可以提高主节点的处理能力,使其更好地处理复制请求和其他客户端请求。不过,在现实情况下,一般没有操作空间,因为主库主机在使用,无法扩容CPU或内存(非绝对,有的虚拟化方式可以做到在线扩容)

4、控制并发复制连接数

通过限制从节点的并发复制连接数,可以避免主节点过载。在从节点上执行以下命令:

CONFIG SET replica-max-replication-jobs 5  # 适当调整连接数

这有助于确保添加从节点时的流量控制,避免对主节点的并发请求过多。

5、从节点的磁盘写入延迟

通过配置repl-diskless-sync-delay参数,可以调整从节点在同步期间的磁盘写入频率。这对于降低从节点对磁盘的写入负载很有帮助。

CONFIG SET repl-diskless-sync-delay 5  # 适当调整延迟时间

6、从节点的最大内存限制

Redis从节点可以配置一个最大使用的内存量,以确保不会占用过多系统资源。

CONFIG SET maxmemory 8gb  # 适当调整内存限制

7、从节连接超时时间设置

根据系统的需要,你可能需要调整从节点的连接超时等设置。

CONFIG SET repl-timeout 60  # 适当调整超时时间

8、从节点检活时间修改

repl-ping-slave-period:该参数定义主节点定期检查从节点是否存活的时间间隔。增加这个间隔可能减轻主节点的负载,但会使主从节点之间的同步变得更加滞后。

CONFIG SET repl-ping-slave-period 60  # 适当调整间隔时间

9、复制积压缓冲区存活时间

repl-backlog-ttl:该参数定义复制积压缓冲区中数据的最大存活时间。适当调整可以在一定程度上控制主从节点之间的延迟。

CONFIG SET repl-backlog-ttl 3600  # 适当调整 TTL 时间

10、repl-disable-tcp-nodelay:

默认情况下,Redis使用TCP_NODELAY选项来减少传输延迟。但在某些情况下,你可能希望禁用这个选项以减轻网络负担。

CONFIG SET repl-disable-tcp-nodelay yes

11、复制刷盘同步参数设置

repl-diskless-sync:在磁盘同步时,Redis默认会写入一个临时文件。通过启用磁盘同步,你可以选择避免写入磁盘。

CONFIG SET repl-diskless-sync yes

12、从节点写入延迟

涉及min-replicas-to-write和min-replicas-max-lag,这两个参数用于在高可用性(HA)设置中,定义最小数量的从节点确认写入操作以及最大的允许延迟。

CONFIG SET min-replicas-to-write 3
CONFIG SET min-replicas-max-lag 10

三、建议

Redis 单个实例内存使用过大可能会导致系统性能下降,甚至影响整个系统的稳定性。以下是一些方式可以避免Redis单个实例内存使用过大:

  • 设置合理的过期时间:如果你的数据集中有很多过期的键,确保设置了合理的过期时间,以便Redis可以自动清理不再需要的键。使用 EXPIRE 命令或在 SET 命令中添加 EX 选项来设置过期时间。
  • 优化数据结构:选择适当的数据结构,以减小存储空间。例如,如果可以使用 HASH 代替 STRING,或者使用 ZSET 代替 SET,就可以有效地减小内存占用。
  • 使用合理的数据存储方式:使用 HASH 或 ZSET 等数据结构存储多个相关字段,而不是使用多个独立的 STRING 类型。这可以减少内存的开销。
  • 启用压缩功能:Redis 6.0 以后的版本支持对字符串进行压缩。启用压缩可以减小存储空间,特别是当存储的是文本数据时。
# 在redis.conf文件中启用压缩
activate-key-compression yes
  • 分片(Sharding):将数据分散到多个Redis实例中,以减小每个实例的内存使用。这种方式需要对应用程序进行修改以支持分片。
  • 使用内存淘汰策略:Redis 提供了多种内存淘汰策略,例如 volatile-lru、allkeys-lru、volatile-ttl 等。选择适合你业务场景的淘汰策略,确保及时清理不再需要的键。
  • 限制每个数据集的大小:设置 maxmemory 参数,限制Redis使用的内存总量。当内存达到这个限制时,Redis会根据所配置的淘汰策略自动删除一些键。
# 在redis.conf文件中设置最大内存限制
maxmemory 8gb
  • 做好监控和优化:定期监控Redis的内存使用情况,使用Redis自带的 INFO 命令或者监控工具。根据监控结果,及时采取优化措施。

延伸 · 阅读

精彩推荐
  • Redis跳跃表数据结构与算法分析

    跳跃表数据结构与算法分析

    作者:京东物流 纪卓志 目前市面上充斥着大量关于跳跃表结构与Redis的源码解析,但是经过长期观察后发现大都只是在停留在代码的表面,而没有系统性地...

    未知982023-05-07
  • Redis详解redis数据结构之压缩列表

    详解redis数据结构之压缩列表

    这篇文章主要介绍了详解redis数据结构之压缩列表的相关资料,压缩列表在redis中的结构体名称为ziplist,其是redis为了节约内存而声明的一种数据结构,需要...

    lqh5422019-11-06
  • RedisRedis为什么快如何实现高可用及持久化

    Redis为什么快如何实现高可用及持久化

    这篇文章主要介绍了Redis为什么快如何实现高可用及持久化,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参...

    纪莫10162021-02-24
  • Redis详解Redis三大集群模式,轻松实现高可用!

    详解Redis三大集群模式,轻松实现高可用!

    1. Redis集群简介 1.1 什么是Redis集群 Redis集群是一种通过将多个Redis节点连接在一起以实现高可用性、数据分片和负载均衡的技术。它允许Redis在不同节点上同...

    未知1082023-05-07
  • RedisLinux中设置Redis开机启动的方法

    Linux中设置Redis开机启动的方法

    这篇文章主要给大家介绍了关于Linux中设置Redis开机启动的方法,主要包括在CentOS7.0系统和Debian 8.0系统下实现方法,文中介绍的非常详细,需要的朋友可以...

    YoYong7352019-11-05
  • Redis使用Docker Compose搭建高可用Redis集群

    使用Docker Compose搭建高可用Redis集群

    如今业务系统对于缓存Redis的依赖似乎是必不可少的,我们可以在各种各样的系统中看到Redis的身影。考虑到系统运行的稳定性,Redis的应用和MySQL数据库一...

    未知782023-11-14
  • Redisredis实现的四种常见限流策略

    redis实现的四种常见限流策略

    因为在网站运行期间可能会因为突然的访问量导致业务异常、也有可能遭受别人恶意攻,所以我们对网站要进行限流,本文主要介绍了redis四种常见限流策...

    烟花散尽1314112412021-08-10
  • RedisRedis 出现错误1067的解决办法

    Redis 出现错误1067的解决办法

    这篇文章主要介绍了Redis 出现错误1067的解决办法的相关资料,Redis 错误1067:进程意外终止,Redis不能启动,Redis启动不了,需要的朋友可以参考下 ...

    蕃薯耀13002019-11-06