model.generate返回句子大于1时出现＜unk＞的情况处理

作者：我家自动化 | 2024-08-13 06:19:56

踩

model.generate

今天写代码的时候遇到很狗血的地方，在用T5模型的model.generate()方法是用了beam_search并且num_return_sequences>1，如下所示：
在这里插入图片描述
但在部分句子中却出现了如下问题：

具体来讲就是出现了pad和unk这种无效路径，因此要把这种无效路径去除掉，所以要在generate里添加参数remove_invalid_values = True即可。

本文内容由网友自发贡献，转载请注明出处：【wpsshop博客】