服务器之家:专注于服务器技术及软件下载分享
分类导航

PHP教程|ASP.NET教程|JAVA教程|ASP教程|编程技术|正则表达式|C/C++|IOS|C#|Swift|Android|JavaScript|

服务器之家 - 编程语言 - PHP教程 - 如何解决PHP使用mysql_query查询超大结果集超内存问题

如何解决PHP使用mysql_query查询超大结果集超内存问题

2020-12-28 14:26走一趟再说 PHP教程

这篇文章主要介绍了如何解决PHP使用mysql_query查询超大结果集超内存问题 的相关资料,需要的朋友可以参考下

再使用mysql_query查询超大结果集的时候会出现超出内存限制的致命错误,这是因为mysql_query采用的是查询全部结果然后把结果集全部缓存到内存中的方式。

mysql的查询还提供了另外一种查询方式,函数名为mysql_unbuffered_query,这个函数采用的是查出结果后立即操作结果集,并不会把结果集缓存到内存中,这样就避免了超出内存的情况发生。但是使用这个方法的代价就是不能再查询的时候使用获取总行之类的方法,因为这种方法是便查询边返回结果。同时在使用该方法的时候不能在同一数据库链接上执行其他的操作,想要执行其他操作的时候必须先终止当前操作,释放所有未缓存的sql查询所产生的结果行,或者重新实例化一个数据库连接,使用新链接进行其他操作。

以下是使用缓存和不使用缓存的对比(所查询的表中有1000多万行数据):

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
function selecttest()
{
try {
$pdo = new PDO("mysql:host=localhost;dbname=test", 'root', '123456');
// 不使用缓存结果集方式
// $pdo->setAttribute(PDO::MYSQL_ATTR_USE_BUFFERED_QUERY, false);
$sth = $pdo->prepare('select * from test');
$sth->execute();
echo '最初占用内存大小:' . memory_get_usage() . "\n";
$i = 0;
while ($result = $sth->fetch(PDO::FETCH_ASSOC)) {
$i += 1;
if ($i > 10) {
break;
}
sleep(1);
print_r($result);
echo '占用内存大小:' . memory_get_usage() . "\n";
}
} catch (Exception $e) {
echo $e->getMessage();
}
}

上面使用到的是缓存所有结果集的方式,运行该函数时将会报超内存的错误,如下所示:

Fatal error: Allowed memory size of 134217728 bytes exhausted (tried to allocate 204800000 bytes) in E:\ProgramDevelopment\RuntimeEnvironment\xampp\htdocs\test\test.php on line 57

Call Stack:

0.0005 135392 1. {main}() E:\ProgramDevelopment\RuntimeEnvironment\xampp\htdocs\test\test.php:0
0.0005 135568 2. test->selecttest() E:\ProgramDevelopment\RuntimeEnvironment\xampp\htdocs\test\test.php:86
0.0055 142528 3. PDOStatement->execute() E:\ProgramDevelopment\RuntimeEnvironment\xampp\htdocs\test\test.php:57

在执行$sth->execute();时超出内存限制;

将// $pdo->setAttribute(PDO::MYSQL_ATTR_USE_BUFFERED_QUERY, false);这行的注释去掉后将使用不缓存结果集的方式,运行该函数将输出以下内容:

最初占用内存大小:144808

?
1
2
3
4
5
6
7
Array
(
[id] => 1
[a] => v
[b] => w
[c] => i
)

占用内存大小:145544

?
1
2
3
4
5
6
7
Array
(
[id] => 2
[a] => b
[b] => l
[c] => q
)

占用内存大小:145544

?
1
2
3
4
5
6
7
Array
(
[id] => 3
[a] => m
[b] => p
[c] => h
)

占用内存大小:145536

?
1
2
3
4
5
6
7
Array
(
[id] => 4
[a] => j
[b] => i
[c] => b
)

占用内存大小:145536

?
1
2
3
4
5
6
7
Array
(
[id] => 5
[a] => q
[b] => g
[c] => g
)

占用内存大小:145536

可以看到,使用不缓存结果集的方式获取一行结果所占用的内存是极少的。这样就结局了超出内存限制的问题。

延伸 · 阅读

精彩推荐
  • PHP教程Zend Framework动作助手FlashMessenger用法详解

    Zend Framework动作助手FlashMessenger用法详解

    这篇文章主要介绍了Zend Framework动作助手FlashMessenger用法,分析了动作助手FlashMessenger的功能,并结合实例形式演示了FlashMessenger的使用技巧,需要的朋友可以参...

    coder11852020-12-25
  • PHP教程php防止站外远程提交表单的方法

    php防止站外远程提交表单的方法

    这篇文章主要介绍了php防止站外远程提交表单的方法,实例演示了通过session与验证码进行提交过滤的方法,非常实用,需要的朋友可以参考下 ...

    PHP教程网3692020-08-01
  • PHP教程PHP过滤★等特殊符号的正则

    PHP过滤★等特殊符号的正则

    过滤特殊符号的方法有很多,下面为大家介绍下使用正则来实现下,希望对大家有所帮助 ...

    PHP教程网1742020-06-08
  • PHP教程php基于Redis消息队列实现的消息推送的方法

    php基于Redis消息队列实现的消息推送的方法

    这篇文章主要介绍了php基于Redis消息队列实现的消息推送的方法,小编觉得挺不错的,现在分享给大家,也给大家做个参考。一起跟随小编过来看看吧...

    SmallForest4782019-08-16
  • PHP教程PHP中使用数组指针函数操作数组示例

    PHP中使用数组指针函数操作数组示例

    这篇文章主要介绍了PHP中使用数组指针函数操作数组示例,本文讲解了current()、key()、next()、prev()、end()、reset()等数组指针函数,需要的朋友可以参考下...

    PHP教程网3872020-08-13
  • PHP教程PHP使用Mysql事务实例解析

    PHP使用Mysql事务实例解析

    这篇文章主要介绍了PHP使用Mysql事务的用法,是PHP数据库程序设计中非常重要的实用操作技巧,需要的朋友可以参考下...

    shichen20144682020-07-27
  • PHP教程PHP面向对象精要总结

    PHP面向对象精要总结

    这篇文章主要介绍了PHP面向对象精要,较为详细的介绍了PHP面向对象程序设计中的各种概念与常见技巧,非常具有实用价值,需要的朋友可以参考下...

    PHP教程网3742020-08-06
  • PHP教程分享8个Laravel模型时间戳使用技巧小结

    分享8个Laravel模型时间戳使用技巧小结

    这篇文章主要介绍了分享8个Laravel模型时间戳使用技巧小结,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的...

    zhenry2342020-07-01