WSL2使用CUDA运行AI代码提示工具Tabby_tabby cuda

安装 WSL2 及 Ubuntu 22.04

安装教程请参考此处，不需要安装图形界面

Windows 安装 CUDA

CUDA版本选择应该只要大于11.7版本就可以，我安装时安装的是12.3版本

1. 检查已安装的CUDA版本
   在 CMD 中执行 nvidia-smi，如果执行后输入如下，则表示CUDA已正确安装
   
2. 安装CUDA
   点击此处去NVIDA官网下载 CUDA，下载完后安装时选项全部选择默认即可。
   

WSL2 中安装 CUDA 11.7

执行如下图命令安装WSL2的专用版本CUDA

wget https://developer.download.nvidia.com/compute/cuda/repos/wsl-ubuntu/x86_64/cuda-wsl-ubuntu.pin
sudo mv cuda-wsl-ubuntu.pin /etc/apt/preferences.d/cuda-repository-pin-600
wget https://developer.download.nvidia.com/compute/cuda/11.7.0/local_installers/cuda-repo-wsl-ubuntu-11-7-local_11.7.0-1_amd64.deb
sudo dpkg -i cuda-repo-wsl-ubuntu-11-7-local_11.7.0-1_amd64.deb
sudo cp /var/cuda-repo-wsl-ubuntu-11-7-local/cuda-*-keyring.gpg /usr/share/keyrings/
sudo apt-get update
sudo apt-get -y install cuda
1
2
3
4
5
6
7

下载和配置 Tabby

1. 去Tabby Github仓库下载编译好的二进制文件： 下载地址
   
2. 配置相关环境变量

# tabby 的模型数据存储位置
export TABBY_ROOT=~/tabby
# 国内的模型存储仓库，不配置的话默认为huggingface，速度很慢
export TABBY_DOWNLOAD_HOST=modelscope.cn
1
2
3
4

3. 启动Tabby Serve模式
   • Tabby启动时会尝试从GitHub更新模型元数据，所以网络不好的情况下请需要挂载代理
   • –model 需要运行的模型，具体选项请参考官网
     • 【提示】模型的大小是直接与现存占用相关，越大的模型也意味着更多的显存占用。显存不足将程序也将无法正常启动。目前最小的模型TabbyML/StarCoder-1B显存占用为1.6GB左右，3.2G的3B版本则无法在仅有4GB显存的显卡上正常运行。

./tabby_x86_64-manylinux2014-cuda117 serve --model TabbyML/StarCoder-1B --device cuda
1