Python 循环读取数据内存不足的解决方案_Python

Python 循环读取数据内存不足的解决方案

2021-11-13 10:44ON_THE_WAY_FOREVER Python

这篇文章主要介绍了Python 循环读取数据内存不足的解决方案，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教

看代码吧~

				?

									import gc

									for x in list(locals().keys())[:]:

									    del locals()[x]

									# del all_s_x, ae, ae_split, x_ticks, split

									gc.collect()

补充：python读取大文件的"坑“与内存占用检测

python读写文件的api都很简单，一不留神就容易踩”坑“。笔者记录一次踩坑历程，并且给了一些总结，希望到大家在使用python的过程之中，能够避免一些可能产生隐患的代码。

1.read()与readlines()：

随手搜索python读写文件的教程，很经常看到read()与readlines()这对函数。所以我们会常常看到如下代码：

				?

									with open(file_path, 'rb') as f:

									    sha1obj.update(f.read())

				?

									with open(file_path, 'rb') as f:

									    for line in f.readlines():

									        print(line)

这对方法在读取小文件时确实不会产生什么异常，但是一旦读取大文件，很容易会产生memoryerror，也就是内存溢出的问题。

why memory error？

我们首先来看看这两个方法：

当默认参数size=-1时，read方法会读取直到eof，当文件大小大于可用内存时，自然会发生内存溢出的错误。

Python 循环读取数据内存不足的解决方案

同样的，readlines会构造一个list。list而不是iter，所以所有的内容都会保存在内存之上，同样也会发生内存溢出的错误。

Python 循环读取数据内存不足的解决方案

2.正确的用法：

在实际运行的系统之中如果写出上述代码是十分危险的，这种”坑“十分隐蔽。所以接下来我们来了解一下正确用，正确的用法也很简单，依照api之中对函数的描述来进行对应的编码就ok了：

如果是二进制文件推荐用如下这种写法，可以自己指定缓冲区有多少byte。显然缓冲区越大，读取速度越快。

				?

									with open(file_path, 'rb') as f:

									    while true:

									        buf = f.read(1024)

									        if buf:    

									            sha1obj.update(buf)

									        else:

									            break

而如果是文本文件，则可以用readline方法或直接迭代文件（python这里封装了一个语法糖，二者的内生逻辑一致，不过显然迭代文件的写法更pythonic ）每次读取一行，效率是比较低的。笔者简单测试了一下，在3g文件之下，大概性能和前者差了20%.

				?

									with open(file_path, 'rb') as f:

									    while true:

									        line = f.readline()

									        if buf:    

									            print(line)

									        else:

									            break

									with open(file_path, 'rb') as f:

									    for line in f:

									        print(line)

3.内存检测工具的介绍：

对于python代码的内存占用问题，对于代码进行内存监控十分必要。这里笔者这里推荐两个小工具来检测python代码的内存占用。

				?

									memory_profiler

首先先用pip安装memory_profiler

				?

									pip install memory_profiler

memory_profiler是利用python的装饰器工作的，所以我们需要在进行测试的函数上添加装饰器。

				?

									from hashlib import sha1

									import sys

									@profile

									def my_func():

									    sha1obj = sha1()

									    with open(sys.argv[1], 'rb') as f:

									        while true:

									            buf = f.read(10 * 1024 * 1024)

									            if buf:

									                sha1obj.update(buf)

									            else:

									                break

									    print(sha1obj.hexdigest())

									if __name__ == '__main__':

									    my_func()

之后在运行代码时加上** -m memory_profiler**

就可以了解函数每一步代码的内存占用了

Python 循环读取数据内存不足的解决方案

guppy

依样画葫芦，仍然是通过pip先安装guppy

				?

									pip install guppy

之后可以在代码之中利用guppy直接打印出对应各种python类型（list、tuple、dict等）分别创建了多少对象，占用了多少内存。

				?

									from guppy import hpy

									import sys

									def my_func():

									    mem = hpy()

									    with open(sys.argv[1], 'rb') as f:

									        while true:

									            buf = f.read(10 * 1024 * 1024)

									            if buf:

									                print(mem.heap())

									            else:

									                break