当前位置:   article > 正文

单个消费级GPU笔记本win电脑测试LLaMA模型_llama 模型7b 13b测试

llama 模型7b 13b测试

1、LLaMa模型代码:

      GitHub - facebookresearch/llama: Inference code for LLaMA models

      不同模型对参数规模要求不同,有7B、13B、30B(33B)和65B四个数据规模。

Model MP
7B 1
13B 2
30B(33B) 4
65B 8

2、环境检查

  (1)、检查CUDA环境是否已安装(没有的话先安装CUDA):

 (2)、检查是否已安装Pytorch(没有的话先安装Pytorch):

 

3、LLaMa模型下载:

  (1)、7B模型:

      nyanko7/LLaMA-7B at main (huggingface.co)

  (2)、13B模型:

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/一键难忘520/article/detail/837467
推荐阅读
相关标签
  

闽ICP备14008679号