windows10搭建llama大模型

背景

    随着人工时代的到来及日渐成熟，大模型已慢慢普及，可以为开发与生活提供一定的帮助及提升工作及生产效率。所以在新的时代对于开发者来说需要主动拥抱变化，主动成长。        

LLAMA介绍

    llama全称：Large Language Model Meta AI是由meta（原facebook）开源的一个聊天对话大模型。根据参数规模，Meta提供了70亿、130亿、330亿和650亿四种不同参数规模的LLaMA模型，并使用20种语言进行了训练。与现有最佳的大型语言模型相比，LLaMA模型在性能上具有竞争力。
    官网：https://github.com/facebookresearch/llama

注意：本文是llama不是llama2，原理一致！

硬件要求

安装软件

涉及软件版本

anaconda3安装

    安装这个anaconda建议不要在c盘，除非你的c盘够大。

请参考：https://blog.csdn.net/scorn_/article/details/106591160?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522168601805516800197073452%2522%252C%2522scm%2522%253A%252220140713.130102334..%2522%257D&request_id=168601805516800197073452&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2~all~sobaiduend~default-1-106591160-null-null.142^v88^control,239^v2^insert_chatgpt&utm_term=windows10%E5%AE%89%E8%A3%85anaconda3%E6%95%99%E7%A8%8B&spm=1018.2226.3001.4187

创建环境

conda create -n llama python=3.9.16
conda init

进入环境

conda info -e
conda activate llama

后面验证python

peft安装

pip install peft==0.2.0

transformers安装

注意：这个会很大~有点久~

conda install transformers==4.29.2

安装git

https://blog.csdn.net/dou3516/article/details/121740303

安装torch

pip install torch==2.0.1

安装mingw

win+r输入powershell

遇到禁止执行脚本问题：（如果没有异常请跳出这步）

参考

https://blog.csdn.net/weixin_43999496/article/details/115871373

配置权限

get-executionpolicy
set-executionpolicy RemoteSigned

然后输入Y

安装 mingw

iex "& {$(irm get.scoop.sh)} -RunAsAdmin"

安装好后分别运行下面两个命令（添加库）：

scoop bucket add extras

scoop bucket add main

输入命令安装mingw

scoop install mingw

安装：protobuf

pip install protobuf==3.19.0

项目配置

下载代码

需要下载两个模型, 一个是原版的LLaMA模型, 一个是扩充了中文的模型, 后续会进行一个合并模型的操作

• 原版模型下载地址（要代理）：https://ipfs.io/ipfs/Qmb9y5GCkTG7ZzbBWMu2BXwMkzyCKcUjtEKPpgdZ7GEFKm/

• 备用：nyanko7/LLaMA-7B at main

  下载不了的话，请关注【技术趋势】回复llama1获取。

创建文件夹

git lfs install

下载中文模型

git clone https://huggingface.co/ziqingyang/chinese-alpaca-lora-7b

补充Linux图：

下载羊驼模型（有点大）

先建一个文件夹：path_to_original_llama_root_dir

在里面再建一个7B文件夹并把tokenizer.model挪进来。

7B里面放的内容

最终需要的内容如下：

合并模型

下载：convert_llama_weights_to_hf.py