赞
踩
搞大模型往往都需要GPU加速,本次在家里的PC上安装CUDA来实现GPU加速。
操作系统:Windows11 23H2
GPU:RTX 4070 Ti Super
显卡驱动:555.99 (NVIDIA GeForce 驱动程序 - N 卡驱动 | NVIDIA)
注意:尽量安装Studio版本的驱动(否则需要在安装过程中取消很多组件的安装)
(可选)尽量已安装Visual Studio,笔者安装的是Visual Studio 2022 (不赘述)。
1. 查看当前的英伟达显卡驱动版本
按Win+R,输入cmd,在命令行中输入 nvidia-smi,即可查看显卡驱动版本
本机的显卡驱动版本为555.99。
在1. CUDA 12.5 Release Notes — Release Notes 12.5 documentation 中查看适合当前显卡驱动版本对应的CUDA版本
本机的显卡驱动版本为555.99,因此可以安装CUDA 12.5。
若你的显卡驱动版本较低,又想装高版本CUDA,需要对显卡驱动进行升级。
在英伟达官网上下载CUDA,地址:
https://developer.nvidia.com/cuda-toolkit-archive
选择相应的系统、架构、系统版本、以及安装模式,点击download进行下载。
下载完成后双击安装即可(安装过程中大部分可以保持默认设置,直接下一步)。
提取安装文件的临时存放位置,保持默认,点击OK
选择【精简】或【自定义】均可,建议选【自定义】
】
安装位置可以点击浏览自选
安装完毕
测试CUDA是否安装成功,重新打开命令行,切换到C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.5\extras\demo_suite下,运行bandwidthTest.exe测试程序,看结果是否为“PASS”(成功)。
下载合适的cuDNN版本,下载地址:https://developer.nvidia.com/rdp/cudnn-archive
选择:Download cuDNN v8.9.7 (December 5th, 2023), for CUDA 12.x下的Windows压缩包进行下载。注意下载时要注册账号。
下载完成直接解压,将其中的这三个文件夹复制到CUDA安装路径(默认路径C:\Program Files\NVlDlA GPU Computing Toolkit\CUDA\v12.5)下对应的文件夹,与原先同名文件合并。
点击【此电脑】—【右键】—【属性】—【高级系统设置】—【环境变量】,打开环境变量窗口。
找到Path变量并双击,添加指向CUDA Development 安装路径下的 bin文件夹和libnvvp 文件夹(实际安装过程中已自动添加,~~省事)。
重新打开命令行窗口,输入nvcc -V,出现如下信息,表示安装成功。
注:至此安装已结束,网上还有一些教程说需要安装zlib。对于新版本的CUDA来说不需要,且最新的官方安装文档显式Windows下已无需安装zlib。
安装PyTorch
pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121
如果网速慢无法下载,直接下载安装包:https://download.pytorch.org/whl/cu121/torch-2.3.1%2Bcu121-cp311-cp311-win_amd64.whl
编写如下Python代码:
- # -*- coding: utf-8 -*-
-
- import time
- import torch
-
-
- def torch_cuda():
- # 判断是否有cuda
- print(torch.cuda.is_available())
- # 查看cuda设备数量
- print(torch.cuda.device_count())
- # 查看当前CUDA设备名称
- print(torch.cuda.get_device_name(0))
- # 查看当前CUDA使用详情
- print(torch.cuda.memory_summary())
-
- # 使用cuda进行矩阵乘法
- start_time1 = time.time()
- x = torch.randn(20000, 20000).to("cuda")
- y = torch.randn(20000, 20000).to("cuda")
- z = torch.matmul(x, y)
- end_time1 = time.time()
- print("Time1 (With CUDA): ", end_time1 - start_time1)
-
- # 不使用cuda进行矩阵乘法
- start_time2 = time.time()
- xx = torch.randn(20000, 20000)
- yy = torch.randn(20000, 20000)
- zz = torch.matmul(xx, yy)
- end_time2 = time.time()
- print("Time2 (Without CUDA): ", end_time2 - start_time2)
-
-
- if __name__ == '__main__':
- torch_cuda()
结果如下:
有CUDA加速的情况下,20000*20000的矩阵乘法耗时降为原先的1/8。
CUDA安装失败
解决方案:再重新运行CUDA安装包,安装模式选【自定义】,然后取消相关失败的组件即可。
参考:
Installing cuDNN on Windows — NVIDIA cuDNN v9.2.0 documentation
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。