当前位置:   article > 正文

昇思25天学习打卡营第21天|xkd007|LLM原理和实践(4)文本解码原理--以MindNLP为例

昇思25天学习打卡营第21天|xkd007|LLM原理和实践(4)文本解码原理--以MindNLP为例

自回归语言模型

1 原理

根据前文预测下一个单词。(本文介绍几种选取预测词的方法,及其优缺点)

Image

一个文本序列的概率分布可以分解为每个词基于其上文的条件概率的乘积

Image

推荐阅读
相关标签