赞
踩
量化前 gpu推理 内存 58.40-56.48=2G 显存 13G
量化前 cpu推理 内存 80-56.48=23.52G
量化后使用cpu推理
内存 62.2-56.48=5.72G
量化后使用gpu推理
显存占用 18874-5603 = 13271 MiB 内存61.27-56.48=4.79G