AIGC算法工程师面经：NLP基础篇——文本解码超全总结_aigc nlp

一、前言

1. 文本解码

2. 解码策略分类

二、贪婪采样（Argmax Decoding）

1. Greedy Search

2. Beam Search

3. Beam Search的优化

4. 总结

三、随机采样（Stochastic Decoding）

1. Temperature Sampling

2. Top-k Sampling

3. Top-p Sampling（ Nucleus Sampling ）

4. 总结

四、手撕beam search代码（简易可直接上手版）

一、前言

1. 文本解码

先用比较通俗的意思解释一下解码：

在生成文本结果的时候，模型的输出是一个时间步一个时间步依次获得的，而且前面时间步的结果还会影响后面时间步的结果。

也就是说，每一个时间步，模型给出的都是基于历史生成结果的条件概率。

那么解码就是：为了生成完整的句子，融合模型多个时间步的输出，使得最终得到的序列的每一步条件概率连乘起来最大。

2. 解码策略分类

文本生成中的decoding strategy主要可以分为两大类：

• Argmax Decoding: 主要包括beam search, class-factored softmax等

• Stochastic Decoding: 主要包括temperature sampling, top-k sampling等。

在生成模型中，最终会生成一个大小固定的hidden state ℎ