服务器之家:专注于服务器技术及软件下载分享
分类导航

Mysql|Sql Server|Oracle|Redis|MongoDB|PostgreSQL|Sqlite|DB2|mariadb|Access|数据库技术|

服务器之家 - 数据库 - Redis - 如何分析Redis的架构设计?

如何分析Redis的架构设计?

2021-11-08 23:20JavaEdge Redis

Redis本身内容繁杂,要是上来就研究一细节点,如连接池、数据结构,虽可直接学到某个点的详尽源码内容,甚至尽快解决一些事故,但容易溺死在细节汪洋,无法整体把控Redis。

如何分析Redis的架构设计?

正文

Redis本身内容繁杂,要是上来就研究一细节点,如连接池、数据结构,虽可直接学到某个点的详尽源码内容,甚至尽快解决一些事故,但容易溺死在细节汪洋,无法整体把控Redis。

最好是先建立起“架构”。想精通Redis,须能领略其总体架构,再深入具体技术点。

构造Redis 这种 KV DB,首要考虑:

  • 数据模型

能存什么数据?如用户信息(用户ID、name、age、sex等),通常用 MySQL,在一个用户ID对应一个用户信息集合的场景下,就是KV DB的数据模型之一,也能满足这类存储需求。

  • 操作接口

可以怎么操作数据?如计算多个用户的avg年龄,KV DB则无法胜任。因其只提供了简单的操作接口,并不支持复杂聚合计算。

所以,先搞懂数据模型和操作接口,才能物尽其用。

数据模型

KV DB,最基本数据模型就是KV模型。选型KV DB时,一大因素就是其支持的V类型:

  • Memcached仅支持String V类型
  • 而Redis支持的V类型还包括hash、list、set等
  • 所以Redis能被更广泛应用。
  • 对 crud boy来说,不同V类型就意味着能支持多种业务的数据需求。

操作接口

无论什么DB,基本操作都逃不开 crud:

  • PUT:新写入或更新一个KV对
  • GET:根据一个key读取相应的V值
  • DELETE:根据一个key删除整个KV对
  • SCAN操作:根据一段K范围,返回相应V值

内存 or 外存?

  • 在内存,读写快,百ns级。风险是一旦掉电,会丢失所有数据
  • 在外存,虽可避免数据丢失,但受限于磁盘慢速读写(几ms级别),KV DB整体性能会被拉低。

因此,需根据KV DB应用场景来选型。

如缓存场景下的数据需要能快速访问但允许丢失,则采用内存保存KV数据。

访问模式选型

  • 通过函数库调用供外部使用

如libsimplekv.so,就是以动态链接库的形式链接到我们自己的程序,提供KV存储功能,如RocksDB。

  • 通过网络框架,以Socket通信对外提供KV对操作,可提供广泛的KV存储服务

如Memcached和Redis。

通过网络框架提供KV存储服务:

  • 扩大了KV DB的生态
  • 给KV DB的性能、运行模型提供了不同选型,带来潜在问题

比如,当客户端发送如下命令,该命令会被封装在网络包中发送给KV DB:

  1. PUTjavaedge

KV DB网络框架接收到网络包,并按照相应的协议进行解析后,可知客户端想写入一个键值对,并开始实际写入。

I/O模型设计

网络连接的处理、解析客户端的请求及数据存取的处理,应该选择怎样的线程模型?

  • 一个线程,既要处理网络连接、解析请求,又要完成数据存取,一旦某一步操作发生阻塞,整个线程就会阻塞住,这就降低了系统响应速度
  • 多线程处理不同操作,则某个线程被阻塞时,其他线程还能正常运行。但不同线程间如果需要访问共享资源,又会产生线程竞争,影响系统效率

所以,这里也还需精心设计。

KV对的定位

知道了要进行的KV对操作,就得查找所要操作的KV对是否存在,这就依赖KV DB的索引模块:让KV DB据key找到相应V的存储位置。

不同KV DB采用的索引:

  • Memcached、Redis采用哈希表
  • RocksDB采用跳表

一般内存KV DB(如Redis)采用哈希表作为索引,主要因其KV基本都保存在内存,而内存高性能随机访问特性与哈希表O(1)复杂度匹配。

Redis的V支持多种类型,当通过索引找到一个K所对应V,仍需从V的复杂结构(如set或list)中进一步找到想要数据,该操作的效率本身就依赖其实现结构。而Redis便采用一些高效的索引结构作为某些V类型的底层数据结构。

各操作的具体逻辑

不同操作找到V的存储位置后的操作:

  • GET/SCAN

根据V的存储位置返回V值

  • PUT

为该KV对分配内存空间

  • DELETE

删除KV对,并释放内存空间,该过程由分配器完成

重启后快速提供服务

KV DB的KV对大小不一,分配器在处理随机的大小内存块分配时,表现不好的话,一旦KV对数据规模过大,可能导致严重内存碎片。

所以分配器是KV DB中的关键。对内存存储为主的Redis更重要。Redis的内存分配器提供了多种选择,分配效率也不同。

KV DB虽依赖内存保存数据,提供快速访问,但也希望KV DB重启后能快速重新提供服务,所以,在其存储模块增加持久化功能。

因为磁盘管理比内存管理复杂,KV DB直接采用文件形式,将KV数据通过调用本地文件系统的操作接口保存在磁盘。

此时,KV DB只需考虑何时将内存中的KV数据保存到文件:

  • 每个KV对都落盘保存,这虽然让数据更可靠,但每次都写盘,性能受大影响
  • 周期性把内存中的KV对保存到文件,避免频繁写盘。但数据有丢失风险

所以,Redis提供了持久化功能,还有多种执行机制和性能优化点。

KV DB - Redis 架构

如何分析Redis的架构设计?

原文链接:https://mp.weixin.qq.com/s/brcWxhFQnQc0YjxQTvNv4g

延伸 · 阅读

精彩推荐
  • Redisredis 交集、并集、差集的具体使用

    redis 交集、并集、差集的具体使用

    这篇文章主要介绍了redis 交集、并集、差集的具体使用,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友...

    xiaojin21cen10152021-07-27
  • RedisRedis全量复制与部分复制示例详解

    Redis全量复制与部分复制示例详解

    这篇文章主要给大家介绍了关于Redis全量复制与部分复制的相关资料,文中通过示例代码介绍的非常详细,对大家学习或者使用Redis爬虫具有一定的参考学习...

    豆子先生5052019-11-27
  • RedisRedis的配置、启动、操作和关闭方法

    Redis的配置、启动、操作和关闭方法

    今天小编就为大家分享一篇Redis的配置、启动、操作和关闭方法,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧 ...

    大道化简5312019-11-14
  • Redisredis中如何使用lua脚本让你的灵活性提高5个逼格详解

    redis中如何使用lua脚本让你的灵活性提高5个逼格详解

    这篇文章主要给大家介绍了关于redis中如何使用lua脚本让你的灵活性提高5个逼格的相关资料,文中通过示例代码介绍的非常详细,对大家的学习或者工作具...

    一线码农5812019-11-18
  • RedisRedis 事务知识点相关总结

    Redis 事务知识点相关总结

    这篇文章主要介绍了Redis 事务相关总结,帮助大家更好的理解和学习使用Redis,感兴趣的朋友可以了解下...

    AsiaYe8232021-07-28
  • Redis详解Redis复制原理

    详解Redis复制原理

    与大多数db一样,Redis也提供了复制机制,以满足故障恢复和负载均衡等需求。复制也是Redis高可用的基础,哨兵和集群都是建立在复制基础上实现高可用的...

    李留广10222021-08-09
  • RedisRedis如何实现数据库读写分离详解

    Redis如何实现数据库读写分离详解

    Redis的主从架构,能帮助我们实现读多,写少的情况,下面这篇文章主要给大家介绍了关于Redis如何实现数据库读写分离的相关资料,文中通过示例代码介绍...

    罗兵漂流记6092019-11-11
  • Redisredis实现排行榜功能

    redis实现排行榜功能

    排行榜在很多地方都能使用到,redis的zset可以很方便地用来实现排行榜功能,本文就来简单的介绍一下如何使用,具有一定的参考价值,感兴趣的小伙伴们...

    乘月归5022021-08-05