当前位置:   article > 正文

求助!!Llama2运行效果极差是怎么回事_g8配置,llama 2反应太慢了,怎么办》

g8配置,llama 2反应太慢了,怎么办》

配置:
window10专业版

1650ti (开启text-generation-webui的时候显示out of memory)

本人本地部署了Llama2 7b python 版本,但是效果极差

如图所示:

就问了写很简单的问题,但是回复很怪,基本都是不知道

个人分析:

调参或者提示词输入不对

显存太小(但我后台check 4g显存也没有吃满/可能是系统保护)

如果是显存问题的话,我应该换8g还是12g及以上显卡呢?(我也担心8g显存吃满

求助!!十分感谢

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/知新_RL/article/detail/433204
推荐阅读
相关标签
  

闽ICP备14008679号