赞
踩
(硬件环境:笔记本电脑,intel处理器i9-13900HX、64G内存、NVIDIA RTX4080(12G)、操作系统windows11家庭版)
在 Hugging Face 开源社区搜索“llama chinese”,选择一个适合自身硬件配置的 Llama 3中文大模型。经过多方面的比较分析,本人选择了zhouzr/Llama3-8B-Chinese-Chat-GGUF,并下载了Llama3-8B-Chinese-Chat.q6_k.GGUF版本。
1.访问ollma官网:https://ollama.com/;
2.点击“Download↓”按钮;
3.点击“Download for Windows(Preview)”。
4.设置ollama环境变量,重启后生效。
OLLAMA_PROXY_URL:127.0.0.1 :11434
OLLAMA_MODELS :指定ollama模型的存放路径(d:\ollama_models)
1.编写Modefile(md格式)
创建一个文本文件,里面的内容是:FROM ./Llama3-8B-Chinese-Chat.q6_k.GGUF
2.创建ollama模型
ollama create llama3-8b-chinese -f Modelfile.md
四、检验模型
1.打开浏览器,输入:http://127.0.0.1:11434。显示以下内容,说明模型正在运行。
2.使用本地大模型,在命令行输入Ollama run llama3-8b-chinese,向大模型输入信息,看是否输出正常。
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。