devbox
在线问答5
这个屌丝很懒，什么也没留下！
关注作者
热门标签
热门文章
当前位置:   article > 正文

昇思学习打卡-13-LLM原理与实践/文本解码原理--以MindNLP为例

作者：在线问答5 | 2024-07-19 16:46:50

赞

踩

昇思学习打卡-13-LLM原理与实践/文本解码原理--以MindNLP为例

文章目录


一个文本序列的概率分布可以分解为每个词基于其上文的条件概率的乘积

搜索方法

集束搜索(beam search)

  • Beam search通过在每个时间步保留最可能的 num_beams 个词，并从中最终选择出概率最高的序列来降低丢失潜在的高概率序列的风险。

  • 优点：一定程度保留最优路径

  • 缺点：1. 无法解决重复问题；2. 开放域生成效果差

贪心搜索(greedy search)

推荐阅读
相关标签

Copyright © 2003-2013 www.wpsshop.cn 版权所有，并保留所有权利。