当前位置: article > 正文

大模型推理：transformers中的generate函数参数配置_transformer generate函数

作者：IT小白 | 2024-05-06 23:48:47

踩

transformer generate函数

一、主要参数

参数	推荐值	简介	定义
temperature	0.95	这个值越大生成内容越随机，多样性更好	这个参数控制着生成的随机性。较高的温度值（如 1.2）会增加文本的多样性和创造性，但可能会牺牲一些准确性或连贯性。具体地，temperature 会调整概率输出的softmax概率分布，如果 temperature 的值为1，则没有任何调整；如果其值比1大，则会生成更加随机的文本；如果其值比1小，则生成的文本更加保守。
top_p	0.95	单步累计采用阈值，越大越多token会被考虑	如果累计概率已经超过0.95，剩下的token不会被考虑例如有下面的token及其概率，a:0.9,b:0.03,c:0.03,d:0.015,e… 。则只会采用用abc，因为已经是0.96超过了0.95
top_k	50	单步采用token的数量，越大采用token会越多	单步中最多考虑的token数量
max_length	512	最大采样长度	模型生成的文本最大长度，超过的话会做截断，512是参考值，这个依赖于实际情况自己设置
num_beams	1	beam搜索数量，越大文本质量越高	想象一棵树，这个树在每一层的叶子节点数量都是num_beams个，正常模型推理时设置成1就行啦；

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/IT小白/article/detail/546455