人工智能_大模型011_CPU微调_训练_显卡的选型讲解_价格表_011---人工智能工作笔记0146_调用大模型是不是只有微调的时候要用到比较好的显卡

作者：Gausst松鼠会 | 2024-04-06 14:09:10

踩

调用大模型是不是只有微调的时候要用到比较好的显卡

既然CPU训练大模型无法实现那么就只能购置GPU显卡来进行训练了,来看看如何选型显卡.

之前是没有GPU的,由于游戏行业对画质的需求,催生出了GPU,GPU优势是支持并行计算,可以几千个小核心同时计算,但是有个问题,如何把一个我们需要计算的问题,拆解成1000个或更多小问题,让GPU并行计算呢?

2006年就研发出CUDA平台,CUDA平台允许,一个问题被拆解成很多小问题这样就可以用GPU并行计算.

可以看到几乎百分之90的大模型,都需要使用GPU进行训练

这里模型的精度是,参数量化后的值,单精度就是32位,半精度是16位,16位半精度计算需要GPU支持,

然后这里的FLOAT32是标准的推理和训练格式,这里的INT8表示保留量化后的32位中的后8位,或者后4位,后16位.

需要根据需求选择显卡,如果仅仅是回答问题,不进行训练和微调,只用推理的话,就单精度最大用到20G显存.

可以看到这里,如果我们个人用的话还是以消费级显卡为主,因为,超算级别的太

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/Gausst松鼠会/article/detail/372403