如下所示:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
|
def read_data(file_name): ''' file_name:文件地址 ''' inputfile = open (file_name, 'rb' ) #可打开含有中文的地址 data = pd.read_csv(inputfile, iterator = true) loop = true chunksize = 1000 #一千行一块 chunks = [] while loop: try : chunk = dcs.get_chunk(chunksize) chunks.append(chunk) except stopiteration: loop = false print ( "iteration is stopped." ) data = pd.concat(chunks, ignore_index = true) #print(train.head()) return data |
以上这篇python分块读取大数据,避免内存不足的方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持服务器之家。
原文链接:https://blog.csdn.net/Tony_Stark_Wang/article/details/81367837