当前位置:   article > 正文

(低显存)如何实现segment anything等大模型本地部署_segment anything内存不足

segment anything内存不足

本文以SAM为例

前提:本人电脑比较老旧,显存不够只有4g,故出现“CUDA out of memory”

1.如何查看显存

win+r,cmd里输入dxdiag,诊断工具点击确认,左上角点击显示,找到显示内存(VRAM)

2.如何扩充显存

第一步:先把模型的权重调到最小,显存本来就少的用base就行了,附带一句官方文档给的6.9g显存才能跑,显卡满足的就可以不用往下看了

第二步:英伟达有个功能可以实现共享内存,把cpu拉过来当gpu用,官方文档System Memory Fallback for Stable Diffusion | NVIDIA

546.01后的版本提供这个功能的开关,是默认开启的,然后就是最重要的一步

在联想电脑管家里把独显模式关了,开启混合模式

这里是需要重启电脑生效

重启完就可以跑了

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/空白诗007/article/detail/1008567
推荐阅读
相关标签
  

闽ICP备14008679号