解决pytorch DataLoader num_workers出现的问题_Python

解决pytorch DataLoader num_workers出现的问题

2020-04-25 13:50枫溪彤 Python

今天小编就为大家分享一篇解决pytorch DataLoader num_workers出现的问题，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧

最近在学pytorch,在使用数据分批训练时在导入数据是使用了 DataLoader 在参数 num_workers的设置上使程序出现运行没有任何响应的结果，看看代码

				?

									import torch  #导入模块

									import torch.utils.data as Data

									BATCH_SIZE=8 #每一批的数据量

									x=torch.linspace(1,10,10) #定义X为 1 到 10 等距离大小的数

									y=torch.linspace(10,1,10)

									#转换成torch能识别的Dataset

									torch_dataset = Data.TensorDataset( x,y) #将数据放入 torch_dataset

									loader=Data.DataLoader(

									    dataset=torch_dataset,   #将数据放入loader

									    batch_size=BATCH_SIZE, #每个数据段大小为 BATCH_SIZE=5

									    shuffle=True ,  #是否打乱数据的排布

									    num_workers=2 #每次提取数据多进进程为2

									    )

									for epoch in range(3):

									  for step,(batch_x,batch_y) in enumerate(loader):

									    print('epoch',epoch,'|step:',step," | batch_x",batch_x.numpy(),

									       '|batch_y:',batch_y.numpy())

（以上代码取莫烦python教学视频，教学视频中没有报错）

程序就停止成这样了

解决pytorch DataLoader num_workers出现的问题

上网查询没有得到有用的东西，因为程序没有报错，就是没有任何反应，（没有反应可能跟电脑或者编译器有关，我使用的是anconda spyder）于是决定自己找找

期初我采用在语句后面加 print('1')检测程序停在了什么地方，（其实这是一种笨方法，在这里可以采用断点调试）程序停在了 for step,(batch_x,batch_y) in enumerate(loader):

我以为是enumerate的问题，查资料发现这就是一个可返回列表元素和键值的函数，不存在问题

继续排查，把目光放在了loader,于是查询了DataLoader的参数

DataLoader的函数定义如下：

				?

									DataLoader(dataset, batch_size=1, shuffle=False, sampler=None,

									num_workers=0, collate_fn=default_collate, pin_memory=False,

									drop_last=False)