使用nextjs本地化部署AI大模型gemma

笔记本也能部署本地AI模型进行聊天啦！

博主是AI新手，如有不对还请评论区指教～

这里介绍mac的部署方式，win也可以实现。

本案例使用到：ollama + nextjs + langchain.js + milvus 来实现知识库问答和聊天。

ollama：本地运行模型服务

nextjs：前端框架项目

langchain.js：调用模型服务并对话

milvus：向量数据库

开源代码：GitHub - huangj17/gemma-nextjs: 使用nextjs本地化部署AI大模型gemma

1、下载 ollama 在本地运行

1. 安装教程：22K star的超强工具：Ollama，一条命令在本地跑 Llama2 - 知乎
2. 官方文档：gemma 安装后使用 ollama run gemma:2b 命令把gemma:2b模型拉取到本地运行

2、创建一个nextjs项目

1. 安装教程：Getting Started: Installation | Next.js （前端小伙伴就很清楚啦～）
2. 创建后安装langchainjs依赖包，yarn add langchain @langchain/community  https://www.wpsshop.cn/w/菜鸟追梦旅行/article/detail/357974