ollama将模型永远加载在显存里_ollama 释放显存

作者：Guff_9hys | 2024-07-29 14:59:52

踩

ollama 释放显存

我们在使用ollma部署大语言模型的时候,如果部署的模型尺寸较大,往往在第一次加载的时候需要花费大量的时间加载模型;等加载完成后,如果长时间不调用模型,我们会发现模型已经被释放掉了,又要重新加载,导致体验感极差.

这是为什么呢?因为在没被调用时,ollama默认在显存中驻留5min,然后就会自动释放,如果我们两次调用的间隔大于5min的话,那模型已经被释放了,又要重新加载;

不过ollama预留了keep_alive参数可以控制模型驻留的时间:
该参数可以设置为:

方法如下:
如预加载模型,并永远驻留在显存

curl http://localhost:11434/api/generate -d '{"model":"llama2","keep_alive”: -1}
1

具体keep_alive可以根据实际情况自由设置;

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/Guff_9hys/article/detail/899317