清华大学开源的chatGLM-6B部署实战_chatglm-6b cuda out of memory.

作者：你好赵伟 | 2024-03-31 18:04:48

踩

chatglm-6b cuda out of memory.

常见问题：

torch.cuda.OutOfMemoryError: CUDA out of memory.

在Windows的系统环境变量中增加
变量名：PYTORCH_CUDA_ALLOC_CONF
变量值：max_split_size_mb:32
文档书写时使用3090 24G显存配置，其他规格酌情调整 32 至其他值，如未设置变量默认值128极大概率导致 CUDA OOM

无法正常启动：比如命令卡死、无响应、不继续执行等等非报错异常

无敌三步走
1.Ctrl+C 终止命令执行，重新执行命令
2.退出实例exit,关闭实例wsl --shutdown，启动并进入实例 wsl
3.重启电脑，重新进入实例，重新执行命令

查看虚拟化是否启用

调取任务管理器 Ctrl+Shift+Esc 或 Win+X -> T 或 任务栏-> 右键 -> 任务管理器
性能 -> CPU -> 右下角虚拟化已启用
其他方式自行搜索

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/你好赵伟/article/detail/345545