服务器之家:专注于服务器技术及软件下载分享
分类导航

Mysql|Sql Server|Oracle|Redis|MongoDB|PostgreSQL|Sqlite|DB2|mariadb|Access|数据库技术|

服务器之家 - 数据库 - Mysql - Mysql脏页flush及收缩表空间原理解析

Mysql脏页flush及收缩表空间原理解析

2021-02-04 17:38Jimmyhe Mysql

这篇文章主要介绍了Mysql脏页flush及收缩表空间原理解析,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下

mysql脏页

由于wal机制,innodb在更新语句的时候,制作了写日志这一个磁盘操作,就是redo log,在内存写完redo log后,就返回给客户端, 即更新成功。

把内存里的数据写入磁盘的过程,术语就是flush,在flush之前,实际数据和数据库中的数据是不一致的,因为在redo log基础上更新了还未写入,数据库是老的,当内存数据页跟磁盘数据页内容不一致的时候,称这个内存页为脏页,内存写入后就一致了,称为干净页,

如果mysql偶尔运行速度很慢,很可能是在刷脏页。引发数据库flush的过程

  • redo log满了,系统停止所有更新操作,将checkpoint向前推进,腾出空间继续写。
  • 系统内存不足,需要新的内存页不够用,就会淘汰一些数据页,留给别的数据页使用,如果淘汰的是脏页,就会先写到磁盘。
  • mysql空闲的时候。
  • 正常关闭mysql的时候
  • 在第一种情况下,redo log满了,这种情况是innodb要避免的,因为整个系统都不能再更新了,这是不能接受的
  • 第二种情况,内存满了,要先写到磁盘,innodb用缓冲池管理内存,有三种状态
  • 还没有用的内存页
  • 用了并且是干净页
  • 用了并且是脏页(淘汰的时候需要写入到磁盘)

所以我们有时使用数据库会发现数据库性能突然下降,可能就是在处理脏页。

刷脏页控制策略

  • innodb_io_capacity参数,这个参数会告诉innodb你的磁盘io能力。(有公式计算)
  • innodb刷盘主要两个因素:脏页比例和redo log的写盘速度
  • innodb_max_derty_pages_pct是脏页比例上限,默认是75%,调整好innodb_io_capacity参数值,使脏页比例不要超过75%收缩表空间

场景例子:数据库占用空间太大,把最大的表删掉了一半数据,表的大小还是没有变化。

数据删除流程

Mysql脏页flush及收缩表空间原理解析

加入要删掉r4,innodb引擎只会把r4这个记录标记为删除,如果之后再掺入一个id在300-600之间的记录时,会复用这个位置,但是磁盘文件的大小并不会缩小。

如果删掉了一个数据页上的所有记录,这个数据页就可以被复用。

注意:数据页的复用跟记录的复用是不同的。

  • 比如r4这条记录被删除,如果插入一个id是400的行,直接复用这个空间,但是如果插入id是800的行,就不能复用这个位置了。
  • 但是整个数据页page a上的所有记录删除之后,pagea标记为可复用,如果插入一条id=50的记录需要用新的数据页的时候,pagea是可以背负用的。
  • 如果我们用delete命令把整个表数据删除,结果是所有的数据页都会标记为可复用,但是在磁盘上,文件不会变小。

插入数据流程

如果数据按照索引顺序插入的,索引是紧凑的,但是如果是随机插入的,就会造成索引的数据页分页。

Mysql脏页flush及收缩表空间原理解析

如果pagea已经满了,在插入一行数据会怎样?由于a满了,在插入一个id是550的数据时,就会申请一个新的页面pageb来保存数据,分裂完成后pagea的末尾就留下了空洞。

更新索引上的值也是删除一个旧的值,再插入一个新值,也会造成空洞。

收缩空间

新建一个与表a相同结构的表b,按照主键id递增的顺序,把数据一行一行的从a里读出来再插入到表b中,表b中无空洞,数据页的利用率也更高,如果我们把表b作为临时表,数据从表a导入到b中的操作完成后,用b替换a,从效果上也起到了收缩a的作用。

Mysql脏页flush及收缩表空间原理解析

在整个ddl过程中,表a不能有更新,所以这个ddl不是online的,在5.6之后的版本中,流程做了更改:

建立一个临时文件,扫描a中的所有数据页,

用数据页中a的记录生成b+树,存储在临时文件中

将所有对a的操作记录在一个日志文件中

临时文件生成后,将日志文件的操作应用到临时文件,得到一个逻辑数据上与表a相同的数据文件

用临时文件替换表a的数据文件

图示

Mysql脏页flush及收缩表空间原理解析

可以看到,与图3过程的不同之处在于,由于日志文件记录和重放操作这个功能的存在,这个方案在重建表的过程中,允许对表a做增删改操作。

使用alter table a engine=innodb命令来重建表。在mysql 5.5版本之前,这个命令的执行流程跟我们前面描述的差不多,区别只是这个临时表b不需要你自己创建,mysql会自动完成转存数据、交换表名、删除旧表的操作。

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持服务器之家。

原文链接:https://www.cnblogs.com/jimmyhe/p/11072355.html

延伸 · 阅读

精彩推荐
  • MysqlMySQL锁的知识点总结

    MySQL锁的知识点总结

    在本篇文章里小编给大家整理了关于MySQL锁的知识点总结以及实例内容,需要的朋友们学习下。...

    别人放弃我坚持吖4362020-12-14
  • Mysql详解MySQL中的分组查询与连接查询语句

    详解MySQL中的分组查询与连接查询语句

    这篇文章主要介绍了MySQL中的分组查询与连接查询语句,同时还介绍了一些统计函数的用法,需要的朋友可以参考下 ...

    GALAXY_ZMY5432020-06-03
  • Mysql解决MySQl查询不区分大小写的方法讲解

    解决MySQl查询不区分大小写的方法讲解

    今天小编就为大家分享一篇关于解决MySQl查询不区分大小写的方法讲解,小编觉得内容挺不错的,现在分享给大家,具有很好的参考价值,需要的朋友一起...

    Veir_dev5592019-06-25
  • Mysqlmysql 不能插入中文问题

    mysql 不能插入中文问题

    当向mysql5.5插入中文时,会出现类似错误 ERROR 1366 (HY000): Incorrect string value: '\xD6\xD0\xCE\xC4' for column ...

    MYSQL教程网5722019-11-25
  • MysqlMySQL 数据备份与还原的示例代码

    MySQL 数据备份与还原的示例代码

    这篇文章主要介绍了MySQL 数据备份与还原的相关知识,本文通过示例代码给大家介绍的非常详细,具有一定的参考借鉴价值,需要的朋友可以参考下...

    逆心2962019-06-23
  • Mysql浅谈mysql 树形结构表设计与优化

    浅谈mysql 树形结构表设计与优化

    在诸多的管理类,办公类等系统中,树形结构展示随处可见,本文主要介绍了mysql 树形结构表设计与优化,具有一定的参考价值,感兴趣的小伙伴们可以参...

    小码农叔叔5242021-11-16
  • MysqlERROR: Error in Log_event::read_log_event()

    ERROR: Error in Log_event::read_log_event()

    ERROR: Error in Log_event::read_log_event(): read error, data_len: 438, event_type: 2 ...

    MYSQL教程网6402020-03-13
  • MysqlMySQL数据库varchar的限制规则说明

    MySQL数据库varchar的限制规则说明

    本文我们主要介绍了MySQL数据库中varchar的限制规则,并以一个实际的例子对限制规则进行了说明,希望能够对您有所帮助。 ...

    mysql技术网4192019-11-23