LLM推理中的参数：beam_search、num_sequences、do_sample、temperature、top_k、top_p_llm beam search 回退

作者：神奇cpp | 2024-08-13 06:15:09

踩

llm beam search 回退

原文：

beam_search：动态规划每个step保留几个top解；

num_sequences: generate输出几个top序列。num_sequences<=beam_search。

do_sample: 设为True，则每个输出都进行采样；设为False，则每个输出都greedy取top-1。

temperature: GPT4取值范围是0~2。越大，所有token被采样的概率越接近；越小，采样概率拉的越开。设为0时，greedy取top-1。

top_k: 每一步，只从概率最高的K个token里采样。设为0则disable该机制（无top_p的话，则所有token都参与采样）。

top_p: 取值范围0~1。每一步，只从按概率从高到底排序的tokens，前面累加概率达到p的这些词，参与采样。

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/神奇cpp/article/detail/973588