本地部署大模型（按顺序复制命令即可！！!）_本地大模型部署

系统环境：

        ubuntu22.04

（我这里用的是ubuntu22.04，不是说Windows不好，只是我在用Windows的时候，有很多奇怪的小问题）

一、查询一下是否有Nvidia驱动

nvidia-smi

出现上述结果就可以！！！

但是如果报错或提示没有 nvidia-smi 命令，就需要手动去安装Nvidia驱动

去看一下（【超详细】【ubunbu 22.04】 手把手教你安装nvidia驱动，有手就行，隔壁家的老太太都能安装_linux_huiyoooo-GitCode 开源社区）按照流程跟着写

二、接下来安装anaconda3

为什么使用anaconda3呢，因为每一个大模型的部署需要一个独立的虚拟空间，这是为了防止影响到其他的项目，那为什么不用requirements.txt，最简单的来说，也不说什么废话，就是因为anaconda3简单方便！接下来开始安装！

1、Anaconda3官网（不太推荐，当然如果你有科学的话，官网还是最好的）

2、国内镜像安装可以使用清华的anaconda镜像（清华anaconda镜像）我使用的是（Anaconda3-5.3.1-Windows-x86_64.exeAnaconda3-5.3.1-Linux-x86_64.shAnaconda3-5.3.1-Windows-x86_64.exe），你们可以根据自己的系统安装对应的anaconda即可

安装anaconda3:

chmod +x Anaconda3-5.3.1-Linux-x86_64.sh

更新环境文件：

source .bashrc

测试是否安装成功

conda info

出现这个就安装成功了！

三、创建一个conda环境

conda create -n xxxName python=3.10

1、接下来anaconda就会给你创建一个环境和安装相关的依赖包，所以有 yes 就选 yes

2、切换到conda创建的新环境里

conda activate xxxName

3、给conda和pip切换镜像源（接下来要安装pytorch, pytorch这个很大）

conda：

conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/

pip：

pip config set global.index-url https://mirrors.aliyun.com/pypi/simple/
pip config set install.trusted-host mirrors.aliyun.com

4、安装pytorch官网（conda和pip都可以安装pytorch，选一个方法安装即可，我推荐用pip）

上述需要根据自己对应的操作系统、安装方式、语言、和版本来选择（安装方式我还是推荐pip）

至于版本需要看一下，你在刚开始输入 nvidia-smi 的时候 右上角 CUDA Version: ???  (这里不是选择12.1的版本，而是不要超过12.1的这个版本， 当然等于这个12.1的版本也是可以的)

5、安装pytorch后检查一下安装成功没有：

pip list 

 （看看有没有  torch  这个包）

有的话就直接在命令行上输入：

python
 
 
flag = torch.cuda.is_available()
 
// 返回True，则为成功安装

 四、启动模型文件

// 启动自己的模型文件
python LLMS.py