当前位置: article > 正文

qwen在vLLM下的长度外推简易方法_qwen vllm输出太短

作者：繁依Fanyi0 | 2024-03-01 17:05:45

踩

qwen vllm输出太短

目的

在当前的版本vLLM中实现qwen的长度外推。

在qwen的config.json中，增加如下内容：


{
  "rope_scaling": { 
    "type": "dynamic", 
    "factor": 4.0
  }
}
1
2
3
4
5
6
7

dynamic:动态NTK
factor:缩放因子，外推长度=原始长度*缩放因子

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/繁依Fanyi0/article/detail/175509

推荐阅读