通过 LangChain 加载大模型_langchain.js本地大模型

什么是 LangChain

LangChain 是一个用于开发由大型语言模型 (LLMs) 驱动的应用程序的框架。

为什么是 LangChain

因为 LLM 的 API 只是提供了一个非常基础的调用方式，当我们需要构建一个复杂的 Chat Bot 时，就需要考虑如何保存聊天的上下文、网络搜索、加载 PDF 等工程问题， 而LangChain 提供了一种解决方案，让开发者可以专注于业务逻辑的开发。

足够的流行度和认可度，目前已经在 Github 获得 83k star，并且其上升速度非常恐怖：

[

而 LangChain.js 并不是 Python 版本的套壳，而是一个完整的团队从 0 开始构建的生态，足以看出官方对 JavaScript 生态的重视：

[

基于此，在下将以 LangChain.js 为例，去使用大模型领域最流行的框架去构建应用，感受大模型的魅力。

支持的环境

• Node.js (ESM and CommonJS) - 18.x, 19.x, 20.x
• Cloudflare Workers Cloudflare
• Vercel / Next.js (Browser, Serverless and Edge functions)
• Supabase Edge Functions Supabase
• Browser
• Deno

安装

要安装这个包，你可以使用 npm 或 yarn：

yarn add langchain

1
2

安装环境

node >= 18.x

通过 LangChain 加载大模型

本地大模型

可以通过 ollama list 查看所有的模型，然后通过 ollama pull 安装模型。

# 模型列表参考：https://ollama.com/library
ollama pull [model] 

1
2
3

目前下载了一个 ollama3 的模型

当我们在本地启动了一个模型后，我们就可以通过 LangChain 来调用这个模型了。

import { Ollama } from '@langchain/community/llms/ollama';

const ollama = new Ollama({
  baseUrl: "http://localhost:11434", 
  model: "llama3", 
});


ollama.invoke("用中文讲一个笑话").then((res) => {
  console.log('res', res);
});


1
2
3
4
5
6
7
8
9
10
11
12
13

输出结果