服务器之家:专注于服务器技术及软件下载分享
分类导航

Mysql|Sql Server|Oracle|Redis|MongoDB|PostgreSQL|Sqlite|DB2|mariadb|Access|数据库技术|

服务器之家 - 数据库 - Mysql - 一分钟带你了解:为什么MySQL的Count统计会越来越慢?

一分钟带你了解:为什么MySQL的Count统计会越来越慢?

2023-05-07 01:07未知服务器之家 Mysql

业务发展初期,为了功能的快速实现,遇到统计行数的需求时,我们一般都是简单的使用count函数搞定。 但是有的小伙伴可能慢慢会发现,随着表中的数据越来越多,count统计数据的速度越来越慢,耗时也越来越长了。 今天带大家

一分钟带你了解:为什么MySQL的Count统计会越来越慢?

业务发展初期,为了功能的快速实现,遇到统计行数的需求时,我们一般都是简单的使用count函数搞定。

但是有的小伙伴可能慢慢会发现,随着表中的数据越来越多,count统计数据的速度越来越慢,耗时也越来越长了。

今天带大家了解一下,为什么MySQL的count函数会越来越慢,count函数的实现逻辑是什么,以及如何解决大数据量下的统计需求?

count函数的执行逻辑

我们知道,MySQL分为Server层和引擎层,引擎大家基本使用的都是InnoDB,这里就不再重复强调了。

那对于下面这样一条sql,MySQL是如何执行的呢?

select count(*) from t;

由于我们并没有使用where条件,那么对于MySQL来说,从聚簇索引或二级索引来统计数据都是可以的。

并且普通的二级索引只存储了索引键以及主键,所以相对于聚簇索引来说,二级索引树会更矮更胖,MySQL会优先使用二级索引,以达到减少IO提升性能的目的。

MySQL执行count的逻辑如下:

  1. Server通过执行器调用InnoDB的查询接口,尝试获取第一条数据。
  2. InnoDB引擎在二级索引上找到第一条记录,并返回给Server层。

注意:这里虽然使用count(*)查询,但是并不需要到聚簇索引上回表,因为最终的目的是统计聚合后的行数,回表并没有什么意义。InnoDB会给Server返回一个常数0,表示这一行记录有效。

3.Server层收到常数0,并判断常数0不是null,认为返回值有效,会将统计值+1。

4.Server通过执行器调用InnoDB查询接口,获取下一条记录。

5.InnoDB顺着二级索引找下一条记录,继续返回常数0。

6.重复步骤3,4,5,直到将整棵二级索引树扫描完,最终将统计的结果发给客户端。

大家可以看到,MySQL在执行count函数时,会遍历某一个索引树,查询树上所有的记录进行累加统计。

随着表中的记录越来越多,索引树也会越来越高,越来越胖。

那么整个统计过程也会越来越耗时。

这就是为什么count函数会越来越慢的原因。

大数据量下的如何快速统计行数

这里有两个考虑的因素:绝对精准和允许误差。

如果在极大数据量下,允许有误差产生。那么我们可以提前维护一个变量count,通过记录表中的增删改操作,对这个变量做相应的加减。这样在获取行数时,只需要查询这个变量就可以快速获取结果了。

如果要求绝对精准,并且对性能要求也不太高,那么就继续使用count函数吧。不要觉得这个方法low,能满足业务的方法都是好方法。

如果对性能要求也很高,那么OLAP数据库可能会是一个好选择。

不同count函数的性能差异

经常有小伙伴纠结count(*)、count(1)、count(主键)、count(非索引列)的性能差异。

通过上文我们可以知道,使用count(*)时,InnoDB引擎返回的是常数0,那么自然count(1)返回的也是常数,这两个性能可以看做是一致的。

对于count(主键),由于二级索引树上直接保存着主键id,所以不会有回表的操作。由于InnoDB返回到Server的是主键id,而如果主键id又恰巧比较大,比如是一个较长的字符串时,性能会产生稍微的下滑。

对于count(非索引列),由于需要不停的回表,这种方式性能相对是非常差的,也是不推荐的一种做法。

按性能排序:count(*) ≈ count(1) > count(主键) > count(非索引列)。

延伸 · 阅读

精彩推荐
  • Mysql浅谈mysql 树形结构表设计与优化

    浅谈mysql 树形结构表设计与优化

    在诸多的管理类,办公类等系统中,树形结构展示随处可见,本文主要介绍了mysql 树形结构表设计与优化,具有一定的参考价值,感兴趣的小伙伴们可以参...

    小码农叔叔5242021-11-16
  • MysqlMySQL锁的知识点总结

    MySQL锁的知识点总结

    在本篇文章里小编给大家整理了关于MySQL锁的知识点总结以及实例内容,需要的朋友们学习下。...

    别人放弃我坚持吖4362020-12-14
  • Mysql详解MySQL中的分组查询与连接查询语句

    详解MySQL中的分组查询与连接查询语句

    这篇文章主要介绍了MySQL中的分组查询与连接查询语句,同时还介绍了一些统计函数的用法,需要的朋友可以参考下 ...

    GALAXY_ZMY5442020-06-03
  • Mysql解决MySQl查询不区分大小写的方法讲解

    解决MySQl查询不区分大小写的方法讲解

    今天小编就为大家分享一篇关于解决MySQl查询不区分大小写的方法讲解,小编觉得内容挺不错的,现在分享给大家,具有很好的参考价值,需要的朋友一起...

    Veir_dev5592019-06-25
  • Mysqlmysql 不能插入中文问题

    mysql 不能插入中文问题

    当向mysql5.5插入中文时,会出现类似错误 ERROR 1366 (HY000): Incorrect string value: '\xD6\xD0\xCE\xC4' for column ...

    MYSQL教程网5722019-11-25
  • MysqlERROR: Error in Log_event::read_log_event()

    ERROR: Error in Log_event::read_log_event()

    ERROR: Error in Log_event::read_log_event(): read error, data_len: 438, event_type: 2 ...

    MYSQL教程网6412020-03-13
  • MysqlMySQL 数据备份与还原的示例代码

    MySQL 数据备份与还原的示例代码

    这篇文章主要介绍了MySQL 数据备份与还原的相关知识,本文通过示例代码给大家介绍的非常详细,具有一定的参考借鉴价值,需要的朋友可以参考下...

    逆心2972019-06-23
  • MysqlMySQL数据库varchar的限制规则说明

    MySQL数据库varchar的限制规则说明

    本文我们主要介绍了MySQL数据库中varchar的限制规则,并以一个实际的例子对限制规则进行了说明,希望能够对您有所帮助。 ...

    mysql技术网4192019-11-23