当前位置:   article > 正文

一些bug问题求解_ode is missing network attac

ode is missing network attac

1.en_core_web_sm模型下载

(1)问题描述

OSError: [E053] Could not read config.cfg from C:\Users\pc\AppData\Local\Programs\Python\Python38\Lib\site-packages\en_core_web_md\en_core_web_md-2.2.5\config.cfg。

(2)问题原因

spacy和模型版本不匹配。

(3)解决方法

官网下载对应版本模型。我的spacy是3.5.0,en_core_web_sm模型下载的3.1.0.

参考:

OSError [E053] Could not read config_Fitz1318的博客-CSDN博客

2.nltk_data的punkt加载错误

(1)问题描述

  1. Resource punkt not found.
  2. Please use the NLTK Downloader to obtain the resource:

(2)问题原因

包的路径里面,nltk_data下的tokenizer里面没有找到punkt这个文件夹,是因为没有下载,或者下载了没有解压。

(3)解决办法

在官网(https://www.nltk.org/nltk_data/)下载需要用到的模块,到报错的路径解压即可。

注意:报错信息会提示你的nltk_data都在哪些位置寻找过。若还报错,注意你解压的位置是否排在第一顺位。

3.RuntimeError: each element in list of batch should be of equal size

(1)问题描述

pytorch自己写的dataloader报的错,报错如题。

(2)问题原因

我的dataset也是重写的自己的,但是我这个数据集是0到1亿的一批随机数,然后拆分成字符串,比如1000拆分成1,0,0,0四个字符串。但是生成的随机数有四位的,有七位的,位数不统一,那么就会报这个错。

(3)解决办法

我的随机数从1亿到9亿之间生成,保证字符数相同。

4.RuntimeError: Expected all tensors to be on the same device, but found at least two devices

(1)问题描述

张量tensor不在一个设备上。

(2)问题原因

我在转到GPU上训练时候,模型直接用model.to(device)可以,但是输入的数据to(device)后必须用变量接,否则还是在原来设备上。

(3)解决办法:

数据转移到GPU上后用变量接。

  1. # 模型训练
  2. device = 'cuda' if torch.cuda.is_available() else 'cpu'
  3. # 模型直接to就可以了,不用接。
  4. model.to(device)
  5. def train(epoch,device):
  6. mode = True
  7. model.train(mode)
  8. train_dataloader = get_dataloader(mode)
  9. for idx, [data, target] in enumerate(train_dataloader):
  10. # 数据在转移到GPU上后,需要用变量接。单纯的data.to(device)不够。
  11. data = data.to(device)
  12. target = target.to(device)
  13. # 模型.to(device)之后,运算出的结果就转到了device。
  14. output = model(data).to(device)
  15. optimizer.zero_grad()
  16. loss = f.nll_loss(output, target)
  17. loss.backward()
  18. optimizer.step()
  19. if idx % 500 == 0: # print every 2000 mini-batches
  20. print('[%d, %5d] loss: %.3f' % (epoch + 1, idx + 1, loss.item()))
  21. torch.save(model.state_dict(), model_path)
  22. torch.save(optimizer.state_dict(), optimizer_path)
  23. print("Finish Training step %d" % epoch)

to(device)需要注意的是:
使用GPU训练的时候,需要将模型和数据转到device上,但要注意:

(1)对于tensor数据,需要用变量去接返回值。

(2)对于model,直接model.to(device)即可。

5.TypeError: can't convert np.ndarray of type numpy.object_. The only supported types are: float64, fl

(1)问题描述

我的collate_fn函数把numpy转换成LongTensor时候报错。

(2)问题原因

自己重写的DataSet类,里面数据处理时候,有些句子长度大于我设置的max_length,导致同一批次的输入长度不一致而报错。

(3)解决办法:

把原始数据处理成不大于max_length的句子。

6.导包时候识别不到本地的包,导致导包失败。

(1)问题描述

一些包是在本地相对路径下用的。比如A文件夹的文件,在B文件夹使用时候用了form A.xxx import xxx,这样可能会导致导包失败。

(2)问题原因

没有把A加入到工作区

(3)解决办法

export PYTHONPATH=文件夹的绝对路径

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/人工智能uu/article/detail/818706
推荐阅读
相关标签
  

闽ICP备14008679号