本地安装AI大模型_ollmam

使用ollmam安装llmama3等模型

1.打开ollmam下载对应系统的软件，安装即可

官网：Ollama， 安装直接点就就行了，没有其他操作

2.安装模型

在官网找到对于的模型下载命令

记录命令:ollama run llama3

打开一个cmd窗口，输入命令等下载完成即可，

3.使用接口工具，调用，

http://localhost:11434/api/chat

{
  "model": "llama3",
  "messages": [
    {
      "role": "user",
      "content": "用中文说一下java程序员怎么样"
    }
  ],
  "stream": false
}

缺点没有可视化界面，但是用于项目集成很不错，我这里已经卸载了，问的问题是回答是英文，我的建议找一个中文的模型导入进行，

使用LM Studio部署本地大模型

这种方案我比较推荐，简单下载快，有可视化界面，个人集成项目也可以，

1.下载LM StudioLM Studio - Discover, download, and run local LLMs

      如果打不开网站，开一个加速器，这个安装也是直接无脑安装即可，

2.下载模型

魔搭社区

这个社区别开加速器，不然打不开，这三个随便下一个就行了，全下载也行

新建一个存放模型的文件，把模型放进去，你也可以和我类似的文件结构

3.导入模型

打开软件LM studio 

跟新模型文件夹

选择模型回答模板

4.使用模型

加载模型

等他加载完就可以使用了，

5.优化

文本改为markdom格式

6.本地启用api接口

点击启动服务即可

根据文档调用接口即可，如果文档没有看懂，可以在b站看大佬视频电脑本地部署Llama3中文版 - LM studio_哔哩哔哩_bilibili

docker部署还有一种使用open-webui我没有用过，有兴趣可以试一下,