赞
踩
1.en_core_web_sm模型下载
(1)问题描述
OSError: [E053] Could not read config.cfg from C:\Users\pc\AppData\Local\Programs\Python\Python38\Lib\site-packages\en_core_web_md\en_core_web_md-2.2.5\config.cfg。
(2)问题原因
spacy和模型版本不匹配。
(3)解决方法
官网下载对应版本模型。我的spacy是3.5.0,en_core_web_sm模型下载的3.1.0.
参考:
OSError [E053] Could not read config_Fitz1318的博客-CSDN博客
2.nltk_data的punkt加载错误
(1)问题描述
- Resource punkt not found.
- Please use the NLTK Downloader to obtain the resource:
(2)问题原因
包的路径里面,nltk_data下的tokenizer里面没有找到punkt这个文件夹,是因为没有下载,或者下载了没有解压。
(3)解决办法
在官网(https://www.nltk.org/nltk_data/)下载需要用到的模块,到报错的路径解压即可。
注意:报错信息会提示你的nltk_data都在哪些位置寻找过。若还报错,注意你解压的位置是否排在第一顺位。
3.RuntimeError: each element in list of batch should be of equal size
(1)问题描述
pytorch自己写的dataloader报的错,报错如题。
(2)问题原因
我的dataset也是重写的自己的,但是我这个数据集是0到1亿的一批随机数,然后拆分成字符串,比如1000拆分成1,0,0,0四个字符串。但是生成的随机数有四位的,有七位的,位数不统一,那么就会报这个错。
(3)解决办法
我的随机数从1亿到9亿之间生成,保证字符数相同。
4.RuntimeError: Expected all tensors to be on the same device, but found at least two devices
(1)问题描述
张量tensor不在一个设备上。
(2)问题原因
我在转到GPU上训练时候,模型直接用model.to(device)可以,但是输入的数据to(device)后必须用变量接,否则还是在原来设备上。
(3)解决办法:
数据转移到GPU上后用变量接。
- # 模型训练
- device = 'cuda' if torch.cuda.is_available() else 'cpu'
- # 模型直接to就可以了,不用接。
- model.to(device)
- def train(epoch,device):
- mode = True
- model.train(mode)
- train_dataloader = get_dataloader(mode)
- for idx, [data, target] in enumerate(train_dataloader):
- # 数据在转移到GPU上后,需要用变量接。单纯的data.to(device)不够。
- data = data.to(device)
- target = target.to(device)
- # 模型.to(device)之后,运算出的结果就转到了device。
- output = model(data).to(device)
- optimizer.zero_grad()
- loss = f.nll_loss(output, target)
- loss.backward()
- optimizer.step()
- if idx % 500 == 0: # print every 2000 mini-batches
- print('[%d, %5d] loss: %.3f' % (epoch + 1, idx + 1, loss.item()))
- torch.save(model.state_dict(), model_path)
- torch.save(optimizer.state_dict(), optimizer_path)
- print("Finish Training step %d" % epoch)
to(device)需要注意的是:
使用GPU训练的时候,需要将模型和数据转到device上,但要注意:
(1)对于tensor数据,需要用变量去接返回值。
(2)对于model,直接model.to(device)即可。
5.TypeError: can't convert np.ndarray of type numpy.object_. The only supported types are: float64, fl
(1)问题描述
我的collate_fn函数把numpy转换成LongTensor时候报错。
(2)问题原因
自己重写的DataSet类,里面数据处理时候,有些句子长度大于我设置的max_length,导致同一批次的输入长度不一致而报错。
(3)解决办法:
把原始数据处理成不大于max_length的句子。
6.导包时候识别不到本地的包,导致导包失败。
(1)问题描述
一些包是在本地相对路径下用的。比如A文件夹的文件,在B文件夹使用时候用了form A.xxx import xxx,这样可能会导致导包失败。
(2)问题原因
没有把A加入到工作区
(3)解决办法
export PYTHONPATH=文件夹的绝对路径
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。