Spring AI 函数调用源码分析及使用示例_支持函数调用的大模型

本文将对 Spring AI 框架对函数调用实现的源码以及背后的思想进行分析，并使用 Spring AI实现函数调用的功能。

---

函数调用是大模型的基础能力，在ReAct提示词框架、智能体Agent开发，都会用到函数调用，这是一个非常基础的知识点，大家务必掌握。

---

大模型为什么要函数调用

大语言模型(LLMs)是预训练的，而且一次训练的成本非常昂贵。据网络数据说GPT4一次训练大约需要25000个A100GPU。再加上机器、电费等等 需消耗6300万美金。

• 预训练, 没有最新信息，GPT将无法感知。比如GPT3.5训练截止日期为2022年4月
• 大模型是语言模型，无真逻辑。比如进行数学计算，无法每次准确计算出结果。

基于大模型存在的问题，函数调用机制解决了这些不足。它允许您注册自己的函数，将大型语言模型连接到外部系统的API。这些系统可以为LLMs提供实时数据或者执行复杂的计算。

函数调用功能可以增强模型推理效果或进行其他外部操作，包括信息检索、数据库操作、知识图谱搜索与推理、操作系统、触发外部操作等工具调用场景。

特别需要说明：大模型的 Function call 不会执行任何函数调用，仅返回调用函数所需要的参数。开发者可以利用模型输出的参数在应用中执行函数调用。

哪些大模型支持函数调用

我们仅看Spring AI框架集成的大模型里，哪些支持函数调用，对于未集成的我们不做讨论。在大模型选型时，大模型是否支持函数调用一般都是需要考虑的重点。

Spring AI 函数调用框架

Spring AI 框架函数调用设计框架如下； 将详细介绍一下其执行流程；

1. 将定义的函数（函数名/方法/参数/方法描述/参数描述)）以Prompt发送给AI Model。
2. AI Model 根据函数相关信息，返回函数所需要的参数。
3. Spring AI 根据 AI Model 返回的参数进行函数调用（内部函数/外部函数）。
4. Spring AI 将函数执行的结果，在发送给AI Model。
5. AI Model 根据发送的函数执行结果，生成消息返回给客户端。

在这个过程中 AI Model 本身并不执行函数的调用，而仅仅是根据方法的描述，返回方法所需要的返回值，函数调用仅发生在调用端侧。

Spring AI 函数调用源码

类结构

classDiagram
ChatModel <|.. OpenAiChatModel
StreamingChatModel <|.. OpenAiChatModel
AbstractFunctionCallSupport <|-- OpenAiChatModel
AbstractFunctionCallSupport --> FunctionCallback
AbstractFunctionCallSupport o-- FunctionCallbackContext

Function <|--AbstractFunctionCallback
FunctionCallback <|-- AbstractFunctionCallback
AbstractFunctionCallback <|-- FunctionCallbackWrapper
AbstractFunctionCallback --> TypeResolverHelper
ApplicationContextAware <|-- FunctionCallbackContext
AbstractFunctionCallback --> FunctionCallbackContext
FunctionCallbackContext --> TypeResolverHelper
FunctionCallingOptions <|.. OpenAiChatOptions
FunctionCallingOptions --> FunctionCallingOptionsBuilder


1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18

从类结构上看，整体整体实现较为复杂。下面咱们详细介绍每个类的作用；

AbstractFunctionCallSupport

protected final Map<String, FunctionCallback> functionCallbackRegister = new ConcurrentHashMap<>();

1
2

其中维护一组注册的 FunctionCallback 对象，然后封装调用过程中的通用逻辑。

FunctionCallbackContext

从Spring容器上下文中根据函数名称查找Bean，并将Bean包装为FunctionCallback对象返回。函数的名称定义为Bean的名称。函数的描述要遵循如下规则；

• 使用 @Description 注解描述类
• 使用 @JsonClassDescription 注解描述参数类

FunctionCallback

定义获取函数的方法，比如获取函数的名称，函数的描述，函数输入参数Schema，以及调用函数

public interface FunctionCallback {

    // 函数的名称，必须唯一
    public String getName();

    // 返回函数的描述
    public String getDescription();

    // 返回函数入参的Json schema描述
    public String getInputTypeSchema();

    // 调用函数，当模型检测并触发调用函数时
    public String call(String functionInput);

}

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16

AbstractFunctionCallback

该类主要起到承上启下的作用，对大模型侧需要转换为大模型需要的函数调用的协议，对于3rd，需要包装调用第三方服务或者函数。在使用上我们对该类的作用是无感知的。

FunctionCallbackWrapper

负责将输出转换为模型可以使用的格式，默认实现是在将输出发送给模型之前将其转换为字符串。可以提供一个自定义的函数responseConverter实现来覆盖此操作。

类之间的协作关系

函数调用示例

将演示一个实时查询天气温度的程序。因为对于大模型来说，无法获取最新的数据。

定义函数，为了快速方便演示，模拟返回气温

package org.ivy.func;

import com.fasterxml.jackson.annotation.JsonClassDescription;
import com.fasterxml.jackson.annotation.JsonInclude;
import com.fasterxml.jackson.annotation.JsonInclude.Include;
import com.fasterxml.jackson.annotation.JsonProperty;
import com.fasterxml.jackson.annotation.JsonPropertyDescription;

import java.util.function.Function;

public class MockWeatherService implements Function<MockWeatherService.Request, MockWeatherService.Response> {

    /**
     * Weather Function request.
     */
    @JsonInclude(Include.NON_NULL)
    @JsonClassDescription("获取天气温度接口")
    public record Request(
            @JsonProperty(required = true, value = "location") @JsonPropertyDescription("城市的名称 e.g. 北京") String location,
            @JsonProperty(required = true, value = "unit") @JsonPropertyDescription("温度单位") Unit unit) {
    }

    /**
     * Temperature units.
     */
    public enum Unit {
        C, F
    }

    /**
     * Weather Function response.
     */
    public record Response(double temp, Unit unit) {
    }

    @Override
    public Response apply(Request request) {
        System.out.println("function called :" + request);
        double temperature = 0;
        if (request.location().contains("北京")) {
            temperature = 15;
        } else if (request.location().contains("天津")) {
            temperature = 10;
        } else if (request.location().contains("南京")) {
            temperature = 30;
        }
        return new Response(temperature, Unit.C);
    }

}

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51

将函数注册到 Spring 容器

package org.ivy.config;

import org.ivy.func.MockWeatherService;
import org.springframework.ai.model.function.FunctionCallback;
import org.springframework.ai.model.function.FunctionCallbackWrapper;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;

@Configuration
public class Config {

    @Bean
    public FunctionCallback weatherFunctionInfo() {

        return FunctionCallbackWrapper.builder(new MockWeatherService())
                .withName("WeatherInfo")
                .withDescription("获取城市的天气")
                .withResponseConverter((response) -> "" + response.temp() + response.unit())
                .build();
    }
}

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22

定义接口

package org.ivy.controller;

import org.springframework.ai.chat.messages.UserMessage;
import org.springframework.ai.chat.model.ChatResponse;
import org.springframework.ai.chat.prompt.Prompt;
import org.springframework.ai.chat.prompt.PromptTemplate;
import org.springframework.ai.zhipuai.ZhiPuAiChatModel;
import org.springframework.ai.zhipuai.ZhiPuAiChatOptions;
import org.springframework.beans.factory.annotation.Value;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.RestController;

import java.util.List;
import java.util.Map;

@RestController
public class FunctionCallingController {
    private final ZhiPuAiChatModel zhiPuAiChatModel;

    @Value("classpath:weather.st")
    private org.springframework.core.io.Resource weather;


    public FunctionCallingController(ZhiPuAiChatModel zhiPuAiChatModel) {
        this.zhiPuAiChatModel = zhiPuAiChatModel;
    }

    /**
     * 没有函数调用，看看返回结果
     *
     * @return 返回天气情况
     */
    @GetMapping("/noFunc")
    public String noFunc(String prompt) {
        ChatResponse called = zhiPuAiChatModel.call(
                new PromptTemplate(weather, Map.of("prompt", prompt))
                        .create()
        );
        return called.getResult().getOutput().getContent();
    }

    /**
     * 调用函数，看看返回结果
     *
     * @return 天气状况
     */
    @GetMapping("/func")
    public String func(String prompt) {
        UserMessage userMessage = new UserMessage(prompt);
        ChatResponse response = zhiPuAiChatModel.call(
                new Prompt(List.of(userMessage), ZhiPuAiChatOptions.builder()
                        .withFunction("WeatherInfo").build())
        );

        return response.getResult().getOutput().getContent();
    }
}

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58

定义两个方法，一个无函数调用，一个有函数调用，对比两者效果。

验证效果

我们先验证没有函数调用的情况，如下图所示： 开始一通胡说八道，所以对于需要最新的，准确的回答，大模型比较难做到，因为它是基于推理进行的。我们改一下提示词，不知道的时候，让回答不知道

问题: {prompt}, 如果你无法获取到最新的真实有效的数据，请回答：抱歉

在验证有函数调用的情况，如下图所示：

总结

本篇文章主要对大模型中函数调用的概念、作用、解决的问题进行讲解。并对 Spring AI 框架实现的源码进行分析，目前分析的还不透彻，但不耽误开发程序。最后Spring AI接入智普大模型进行演示了无函数与有函数调用的区别。

如何系统的去学习大模型LLM ？

作为一名热心肠的互联网老兵，我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。

但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的 AI大模型资料 包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。