赞
踩
你好! 这是一个从零开始搭建本地大模型的教程(从建文件夹开始,真正的从零开始),如果你也对大模型感兴趣,那就让我带领你搭建出一个属于自己的“小助理”吧!
具体步骤如下:
创建文件夹存放源码和模型 ,在E盘中创建一个LLM文件夹用来存储源码和模型;
下载源码和模型
1)如果在Anaconda Powershell Prompt中下载时,可以使用下列语句
模型下载:
git clone https://huggingface.co/THUDM/chatglm2-6b-32k
git clone https://huggingface.co/moka-ai/m3e-base
源码下载:
git clone https://github.com/chatchat-space/Langchain-Chatchat.git;
(使用Anaconda Powershell Prompt下载时需要进入刚才创建的LLM文件夹,模型下载需要进入到LLM的models文件夹内,如下图表示)
模型下载:
源码下载:
最后文件夹的效果:
(注意:此处下载需要安装git,并且下载模型时需要魔法)
2)可以直接进入网站下载
3)后台有偿发送
如果魔法无法下载,可以私信联系我,使用网盘发送,有更好效果的agentlm-13b。
创建虚拟环境
打开Anaconda Powershell Prompt(使用该终端需要下载anaconda)可以使用管理员模式。使用conda create -n llm-chat python=3.10语句(python高于3.8即可)
激活虚拟环境并安装torch
1)使用conda activate llm-chat激活虚拟环境
2)使用pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118安装torch
安装依赖
1)使用conda install spacy安装spacy库
2)进入Langchain-Chatchat目录下使用pip install cchardet、pip install accelerate安装cchardet、accelerate库
3)使用pip install --upgrade pip更新pip
4)并使用pip install -r requirements.txt下载源码依赖库,这个下载的包很多,需要一点时间,不要着急。
修改配置文件
走到这一步,那么恭喜你马上就要成功了!!!
1)进入cofigs目录下,使用命令行模式修改文件
cp .\model_config.py.example .\model_config.py
cp .\server_config.py.example .\server_config.py
cp .\basic_config.py.example .\basic_config.py
cp .\kb_config.py.exmaple .\kb_config.py
cp .\prompt_config.py.example .\prompt_config.py
2)直接用鼠标打开文件夹,复制粘贴重命名(用“1步骤”就无需使用此步骤,跳过该步骤)。
最后效果如下图:
修改端口及路径
1)打开model_config.py文件,m3e-base和chatglm2-6b-32k的路径修改为我们存放模型的位置,我的是E:/LLM/models/m3e-base和E:/LLM/models/chatglm2-6b-32k
2)修改启动模型,还是在这个文件修改
3)打开server_config,py文件修改服务地址
本教程只是搭建本地大模型,下一篇会基于本次的搭建,然后结合本地知识库进行部署。
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。