第二十一篇-LM-Studio安装部署gguf模型到windows电脑_gguf lmstudio

下载软件

http://lmstudio.ai
LM-Studio-0.2.16-Setup.exe
1
2

安装

LM-Studio-0.2.16-Setup.exe
一步一步安装
1
2

下载模型

https://hf-mirror.com 下载gguf文件
或
点击左边第二个按钮搜索下载(保证网络“通畅”)
1
2
3

配置参数

如果是自己现在模型，先在MyModels中选择一个目录
再把你下载的模型文件放入，主要要是两层层级(一定是量级目录，不然不识别)
主目录：F:\LLM_Models\GGUF-LIST
模型文件：F:\LLM_Models\GGUF-LIST\TheBloke\Qwen-1_8B-Chat-Int4-GGUF\qwen-1_8b-chat.Q4_0.gguf
1
2
3
4

运行测试

选择AIChat,"Select a model to load" 选择你要加载的模型，进度条加载完成
可以和它对话了，
右边settings可以配置模板，GPU层数等等，继续研究中
1
2
3

总结

一般CPU,1B 7B 模型，int4量化还是可以用用的，更大模型推荐GPU
1