如何用Langchain封装自定义语言模型

为了将一个自定义的语言模型集成到 LangChain 中，你需要创建一个类来继承 langchain_core.language_models.llms.LLM 类，并实现特定的方法。下面是一些关键点，可以帮助你构思如何集成你的语言模型：

继承 LLM 类

你需要从 langchain_core.language_models.llms.LLM 类继承，并且至少实现 _call 方法。这个基类提供了一些通用的功能，比如回调管理等。

实现 _call 方法

这是最重要的方法，它定义了如何调用你的语言模型来生成文本。方法签名如下：

def _call(
    self,
    prompt: str,
    stop: Optional[List[str]] = None,
    run_manager: Optional[CallbackManagerForLLMRun] = None,
    **kwargs: Any,
) -> str:
1
2
3
4
5
6
7

• prompt: 用户提供的文本提示。
• stop: 一个可选的字符串列表，这些字符串如果出现在生成的文本中，将会停止生成过程。
• run_manager: 一个可选的回调管理器，用于跟踪和报告生成过程中的状态。
• **kwargs: 其他可变的关键字参数，这些参数可能会被模型使用。

其他常用方法和属性

• _llm_type 属性: 返回一个字符串标识你的语言模型的类型。
• _identifying_params 属性: 返回一个字典，其中包含识别该模型实例的重要参数。
• _check_validity_of_input 方法: 用于检查输入的有效性，这是一个可选的方法。

示例

这里是一个简化的示例，展示如何创建一个自定义的 LLM 类：

from langchain_core.language_models.llms import LLM
from typing import Any, Optional, List, Mapping
import requests

class CustomLLM(LLM):
    """Custom LLM implementation."""

    def __init__(self, endpoint_url: str, api_key: str):
        """Initialize with endpoint and API key."""
        self.endpoint_url = endpoint_url
        self.api_key = api_key

    @property
    def _llm_type(self) -> str:
        """Return type of llm."""
        return "custom_llm"

    @property
    def _identifying_params(self) -> Mapping[str, Any]:
        """Get the identifying parameters."""
        return {"endpoint_url": self.endpoint_url, "api_key": self.api_key}

    def _call(
        self,
        prompt: str,
        stop: Optional[List[str]] = None,
        run_manager: Optional[CallbackManagerForLLMRun] = None,
        **kwargs: Any,
    ) -> str:
        """Call out to the custom LLM inference endpoint."""
        headers = {"Content-Type": "application/json", "Authorization": f"Bearer {self.api_key}"}
        data = {"prompt": prompt, **kwargs}

        try:
            response = requests.post(self.endpoint_url, headers=headers, json=data)
            response.raise_for_status()
            result = response.json()["result"]
        except Exception as e:
            raise ValueError(f"Error calling the LLM: {e}")

        if stop is not None:
            result = enforce_stop_tokens(result, stop)

        return result
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44

注意事项

• 错误处理: 在 _call 方法中处理可能出现的网络错误或无效响应。
• 参数处理: 根据你的模型需求，可能需要处理额外的参数。
• 回调管理: 如果需要跟踪生成过程，可以利用 run_manager 来触发回调。

集成到 LangChain

一旦你定义了自定义的 LLM 类，就可以像使用其他 LangChain 支持的模型一样使用它。例如，你可以创建一个 CustomLLM 实例，并将其用作 LangChain 中的聊天机器人、文档检索系统或其他组件的一部分。

示例使用

from langchain_community.llms import CustomLLM

llm = CustomLLM(endpoint_url="https://your-endpoint-url.com", api_key="your-api-key")
response = llm("What is the meaning of life?")
print(response)
1
2
3
4
5

通过以上步骤，你可以成功地将一个自定义的语言模型集成到 LangChain 中，并利用其丰富的功能。如果你有具体的模型或者更复杂的需求，可以进一步定制你的类。