当前位置:   article > 正文

llama2 保姆级windows环境配置,训练,部署及常见问题解决方法_llama2本地部署配置要求

llama2本地部署配置要求

业务需要开始研究LLM,并且二次开发用到我们的业务上。

罗嗦几句,我从开始看LLM到配起来训练总共花了两个礼拜时间,看了不下20个视频教程和100篇博客教程,没有哪一个教程是能够从头到尾配置完没有差错的跑起来的,真的呼吁一下大家提高一下教程的质量,自己验证完之后再发布,有错误及时更新或者下线。

以下正式开始配置

1. 环境

1.1 window11

1.2 nvdia 4080或4090显卡,(这里有坑,后面再说 )

2. 根据显卡安装cuda和cudnn

具体看我的另一篇博客(我看的LLM教程基本都没写这一步),这一步是需要用nvida显卡训练必须的一步,还好我以前做过图像识别,知道pytorch需要安装cuda

Windows+Nvdia显卡配置Tensorflow_nvidia-tensorflow-CSDN博客

3. clone llama2-recipes项目

3.1  llama2-recipes是llama2用来微调和二次开发的一个仓库,我之前还跟其他教程用过其他的像mlc-chat这些已经封装好的仓库,我建议如果想二次开发的话还是用这种底层原生的库,用第三方的毕竟被加了一层东西,改起来不灵活

git clone https://github.com/facebookresearch/llama-recipes .

GitHub - facebookresearch/llama-recipes: Examples and recipes for Llama 2 model

3.2 安装虚拟环境(基操,不多说)

python -m venv [env folder]
声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/不正经/article/detail/117308?site
推荐阅读
相关标签
  

闽ICP备14008679号