昇思25天学习打卡营第13天 | LLM原理和实践：文本解码原理--以MindNLP为例_自回归按照概率下一个词的

1. 文本解码原理--以MindNLP为例

1.1 自回归语言模型

• 根据前文预测下一个单词

• 一个文本序列的概率分布可以分解为每个词基于其上文的条件概率的乘积

• $W_0$:初始上下文单词序列

• $t$: 时间步

• 当生成EOS标签时，停止生成。

• MindNLP/huggingface Transformers提供的文本生成方法

1.2 环境准备

!pip uninstall mindvision -y
!pip uninstall mindinsight -y
!pip install mindnlp
1
2
3

1.3 Greedy search（贪心搜索）

“Greedy search”（贪婪搜索）是一种在自然语言处理（NLP）和机器学习中的解码策略，特别是在文本生成任务中，如语言模型和机器翻译。在贪婪搜索中，每一步选择都是基于当前的最优可能性，而不考虑这个选择对未来的影响。
具体来说，在文本生成的上下文中，贪婪搜索会逐个token地生成文本，每次都选择概率最高的下一个token，而不考虑这个选择可能如何影响后续的token生成。这种方法简单且计算效率高，但可能会导致生成文本的质量不是最优的，因为它可能会错过那些当前概率稍低但长远来看会带来更好结果的token。

在每个时间步声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/煮酒与君饮/article/detail/852487