脚本之家,脚本语言编程技术及教程分享平台!
分类导航

Python|VBS|Ruby|Lua|perl|VBA|Golang|PowerShell|Erlang|autoit|Dos|bat|

服务器之家 - 脚本之家 - Python - python分块读取大数据,避免内存不足的方法

python分块读取大数据,避免内存不足的方法

2021-04-27 00:34水木小僧 Python

今天小编就为大家分享一篇python分块读取大数据,避免内存不足的方法,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧

如下所示:

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
def read_data(file_name):
 '''
 file_name:文件地址
 '''
 inputfile = open(file_name, 'rb') #可打开含有中文的地址
 data = pd.read_csv(inputfile, iterator=true)
 loop = true
 chunksize = 1000 #一千行一块
 chunks = []
 while loop:
  try:
   chunk = dcs.get_chunk(chunksize)
   chunks.append(chunk)
  except stopiteration:
   loop = false
   print("iteration is stopped.")
 data = pd.concat(chunks, ignore_index=true)
 #print(train.head())
 return data

以上这篇python分块读取大数据,避免内存不足的方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持服务器之家。

原文链接:https://blog.csdn.net/Tony_Stark_Wang/article/details/81367837

延伸 · 阅读

精彩推荐