AI大模型学习白话笔记（五）-- Function Calling_大模型推理fucation call

前面的文章已经多次提到Function Calling，可见Function Calling在AI大模型搭建的重要性。

我们已经知道通过Function calling可以让用户能够高效的使用外部工具、外部API进行交互，来实现一些基础大模型无法完成的推理。

那么，今天我们一起来学习Function Calling的概念，以及在构建私有专属大模型中的应用。

什么是Function Calling

Function Calling是OpenAI在2023年6月13日发布在Chat Completions API中添加的新能力，帮助开发者通过API方式实现类似于ChatGPT插件的数据交互能力。

Chat Completion模型是一种基于人工智能的自然语言处理技术，可以根据用户的输入生成相应的回答。

而Function Calling允许用户在使用模型处理特定问题时，定制并调用专有的函数，这些函数可以是专门为处理特定任务（如数据分析、图像处理等）而设计的代码块，从而让Chat Completion模型可以调用外部函数获取信息再针对输出进行格式化。

这个描述可能有点难以理解，简单来说，就是OpenAI允许我们通过调用外部数据的方式来增强大模型，那么调用外部数据的方式就是这个Function Calling，翻译过来叫函数调用。

附上Function Calling官方文档地址：platform.openai.com/docs/guides…

Function Calling有什么用

通过使用函数调用能力，可以满足当前大模型无法解决的部分问题，包括：

• 在进行自然语言交互时，可以通过调用外部工具回答问题（类似于 ChatGPT 插件）。
• 将自然语言转换为调用API时使用的参数，或者查询数据库时使用的条件。
• 从文本中提取结构化数据。

如何使用Function Calling

为了实现Function Calling能力，OpenAI对Chat Completion进行了修改，增加了新的请求参数、响应类型以及消息角色，应用开发者需要：

• 在请求参数中向Chat Completion传递信息，描述应用所提供的可调用函数的信息。
• 解析Chat Completion响应的消息类型，若模型决定需要调用函数，则根据模型返回的函数信息和函数传参调用函数，并获得返回结果。
• 将函数返回的结果添加到消息列表中，并再次调用Chat Completion。

定义外部调用的函数

大模型具有执行多个函数的能力，并且允许并行执行和解释函数调用返回的结果，因此我们需要先定义好一个或多个函数。

定义tools

请求参数tools为当前应用可调用的函数的列表（以前的命名为functions）。函数信息中包含了函数的名称、自然语言描述、以及函数所支持传入的参数信息。

tools参数的格式如下：

go
复制代码
tools = [
    {
      name: '函数名',
      description: '该函数所具备能力的自然语言描述',
      parameters: {
        type: 'object',
        properties: {
          argument_name: {
            type: 'string',
            description: '该参数的自然语言描述'
          },
          // ...
        },
        required: ['argument_name']
      }
    },
    // ...
]
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20

tools参数支持以数组形式录入多组函数信息，我们可以定义一个或多个tools，由大模型决定调用谁，其中：

• name：函数名称。后续模型会在需要调用函数时返回此名称。
• description：函数功能描述。模型通过该描述理解函数能力，并判断是否需要调用该函数。
• parameters.properties：函数所需的参数。以对象的形式描述函数所需的参数，其中对象的 key 即为参数名。
• type：参数类型。支持 JSON Schema 协议。
• description：参数描述。
• required：必填参数的参数名列表。

在环境中注册函数

我们需要在环境中注册这些函数，才能让大模型知道并能在需要的时候调用。

ini
复制代码
response = client.chat.completions.create(
    model="gpt-3.5-turbo",
    messages=messages,
    tools=tools,
    tool_choice="auto",  # auto is default, but we'll be explicit
)
1
2
3
4
5
6
7
8

tool_choice: "auto"是默认的，由模型自行决定是否调用函数，也可以设置tool_choice: "none"来强制模型生成面向用户的消息。

tool_calls

ini
复制代码
response_message = response.choices[0].message
tool_calls = response_message.tool_calls
1
2
3
4

如果使用函数，则输出将在响应中包含 “finish_reason”: “tool_calls” ，以及具有tool_calls函数名称和生成的函数参数的对象。

function_to_call

前面的文章我们说过，大模型不会直接执行函数，也并不是大模型让我们干什么我们就得干什么，另外也需要规避无限调用的可能，我们可以把大模型返回的tool_calls当作一个建议，需要进行判断，再决定是否调用。

ini
复制代码
if (tool_calls is not None):
    for tool_call in tool_calls:
        if (逻辑判断):
            function_name = tool_call.function.name
            function_to_call = available_functions[function_name]
            function_args = json.loads(tool_call.function.arguments)
            function_response = function_to_call(
                ...
            )
            # 把函数调用结果加入到对话历史中
            messages.append(
                {
                    "tool_call_id": tool_call.id,
                    "role": "tool",
                    "name": function_name,
                    "content": function_response,
                }
            )
            # 再次请求大模型
            second_response = client.chat.completions.create(
                model="gpt-3.5-turbo",
                messages=messages,
            )
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25

需要注意的地方

在函数执行完成后，可以将函数的返回内容追加到消息列表中，并携带完整的消息列表再次请求Chat Completion API，以获得GPT的后续响应。

在消息列表中，角色的可选值除了原有的系统（system）、用户（user）、助理（assistant）外，新增了函数（function）类型，用来标识该消息时函数调用的返回内容。

向消息列表中追加函数调用响应消息前，还需要首先将上一步模型返回的消息追加到消息列表中，以保证消息列表中的上下文完整。

如何系统的去学习大模型LLM ？

作为一名热心肠的互联网老兵，我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。

但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的 AI大模型资料 包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。