热门标签
热门文章
- 1集群环境搭建-系统配置_龙蜥关闭防火墙
- 2Android开发 OCR：通过Tesseract实现图片文字识别_tesseract ocr android
- 3单维度量表验证性因子分析_验证性因素分析介绍
- 4GitHub 太狠了！不断封禁开源项目，连自家的都不放过
- 5软件测试职业规划 （面试题）_软件测试职业规划怎么回答
- 6探究完全二叉树的性质和应用_完全二叉树的基本性质的应用
- 7Python 常用内置函数详解（二）：print()函数----打印输出_python输出语句print
- 8QPS、TPS、并发量、PV、UV_请求 pv qps
- 9iDASH 2023国际大赛 | 机密计算、同态加密
- 10网络基础知识（一）
当前位置: article > 正文
使用nextjs本地化部署AI大模型gemma_next chat ollama
作者：羊村懒王 | 2024-06-11 21:39:25
赞
踩
next chat ollama
笔记本也能部署本地AI模型进行聊天啦！
博主是AI新手，如有不对还请评论区指教～
这里介绍mac的部署方式，win也可以实现。
本案例使用到：ollama + nextjs + langchain.js + milvus 来实现知识库问答和聊天。
ollama：本地运行模型服务
nextjs：前端框架项目
langchain.js：调用模型服务并对话
milvus：向量数据库
开源代码：GitHub - huangj17/gemma-nextjs: 使用nextjs本地化部署AI大模型gemma
1、下载 ollama 在本地运行
- 安装教程：22K star的超强工具：Ollama，一条命令在本地跑 Llama2 - 知乎
- 官方文档：gemma 安装后使用 ollama run gemma:2b 命令把gemma:2b模型拉取到本地运行
2、创建一个nextjs项目
- 安装教程：Getting Started: Installation | Next.js （前端小伙伴就很清楚啦～）
- 创建后安装langchainjs依赖包，yarn add langchain @langchain/community https://www.wpsshop.cn/w/羊村懒王/article/detail/704888
推荐阅读
相关标签
