当前位置:   article > 正文

解决【TypeError: forward() got an unexpected keyword argument ‘reduction‘】问题

forward() got an unexpected keyword argument

首先,项目项目背景是用BiLSTM+CRF做NER任务,在定义损失函数时,报出了题目的错误,下面是源码:

  1. # model.py
  2. class Model(nn.Module):
  3. def __init__(self):
  4. ......
  5. self.crf = CRF(TARGET_SIZE)
  6. def forward(self, input, mask):
  7. ......
  8. return self.crf.decode(out, mask)
  9. def loss_fn(self, input, target, mask):
  10. y_pred = self._get_lstm_feature(input)
  11. return -self.crf.forward(y_pred, target, mask, reduction='mean')

重点是在loss_fn,因此初始化和前馈层暂且不表,这种写法会在训练模型时会引发标题所示的错误,意思是:

"TypeError: forward()得到了一个意外的关键字参数'reduction'"

表明CRF类的forward方法不接受reduction参数“

尝试将reduction参数去掉,再次训练模型,又报如下错误:

RuntimeError: grad can be implicitly created only for scalar outputs

“RuntimeError: grad只能为标量输出隐式创建”

意思是损失函数返回一个包含多个元素的张量,这在计算梯度时是不允许的。因此不能去掉reduction参数,要保持loss_fn返回标量值。

最后换了一种写法,可以正常运行和模型训练:

  1. def loss_fn(self, input, target, mask):
  2. y_pred = self._get_lstm_feature(input)
  3. loss = -self.crf.forward(y_pred, target, mask)
  4. return loss.mean()

 先用一个loss变量接收损失值,在return时再取mean()

希望能对你有所帮助

本文内容由网友自发贡献,转载请注明出处:https://www.wpsshop.cn/w/Monodyee/article/detail/286464
推荐阅读
相关标签
  

闽ICP备14008679号