Spring AI -使用Spring快速开发ChatGPT应用

前言

 Spring在Java生态中一直占据大半江山。最近我发现Spring社区推出了一个Spring AI项目，目前该项目还属于Spring实验性项目，但是我们可以通过该项目，可以非常快速的开发出GPT对话应用。

 本篇文章将会对SpringAI进行简单的介绍和使用，并通过SpringBoot来集成SpringAI实际开发出一个简单的http对话接口。

Spring AI介绍

 Spring AI是AI工程师的一个应用框架，它提供了一个友好的API和开发AI应用的抽象，旨在简化AI应用的开发工序，例如开发一款基于ChatGPT的对话应用程序。

• 项目地址：https://github.com/spring-projects-experimental/spring-ai
• 文档地址：https://docs.spring.io/spring-ai/reference/

 目前该项目已经集成了OpenAI、Azure OpenAI、Hugging Face、Ollama等API。不过，对于集成了OpenAI接口的项目，只要再搭配One-API项目，就可以调用目前主流的大语言模型了。

使用介绍

 在介绍如何使用Spring AI开发一个对话接口之前，我先介绍下ChatGPT应用的开发原理。

 首先，ChatGPT是OpenAI推出的一款生成式人工智能大语言模型，OpenAI为了ChatGPT能够得到广泛应用，向开发者提供了ChatGPT的使用接口，开发者只需使用OpenAI为开发者提供的Key，向OpenAI提供的接口地址发起各种形式的请求就可以使用ChatGPT。因此，开发一款ChatGPT应用并不是让你使用人工智能那套技术进行训练和开发，而是作为搬运工，通过向OpenAI提供的ChatGPT接口发起请求来获取ChatGPT响应，基于这一流程来开发的。

 在上面已经谈到过，Spring AI已经集成了OpenAI的API，因此我们不需要实现向OpenAI发送请求和接收响应的交互程序了，Spring AI已经实现了这一内容，我们只需要通过调用Spring AI为我们提供的接口即可。

项目实践

 这篇文章将使用Spring AI来实现一个简单的Http对话接口。我们可以通过向接口发送请求来完成与ChatGPT的对话。

准备工作

• OpenAI的Key
• OpenAI的Api
• JDK >= 17
• IDEA Ultimate

 OpenAI的Key和Api不多说，这是使用ChatGPT必备的东西，你也可以使用One-API进行替换。这两样东西我都已经准备好了，你可以通过关注公众号PG Thinker回复关键字共享Key免费获取。

 JDK >= 17，17版本是我正常运行的版本，之前实测过使用JDK 11，在启动时会报版本过低的错误。

class file has wrong version 61.0, should be 55.0

 IDEA Ultimate是为了方便创建Spring项目，本篇文章使用SpringBoot进行基础。

项目创建

 先简简单单创建一个Spring项目

 创建完成后配置pom.xml文件，往里面加入如下信息：

  <repositories>
    <repository>
      <id>spring-snapshots</id>
      <name>Spring Snapshots</name>
      <url>https://repo.spring.io/snapshot</url>
      <releases>
        <enabled>false</enabled>
      </releases>
    </repository>
  </repositories>
1
2
3
4
5
6
7
8
9
10

    <dependency>
        <groupId>org.springframework.experimental.ai</groupId>
        <artifactId>spring-ai-openai-spring-boot-starter</artifactId>
        <version>0.7.0-SNAPSHOT</version>
    </dependency>
1
2
3
4
5

 注意标签的层级关系。

 配置完毕后，刷新下Maven，将依赖包下载下来即可。

项目配置

 打开application配置文件,根据个人喜好选择配置文件的类型。我这里用的yml。

程序编写

简单的对话应用

 Spring Ai可以非常简便、快速的完成ChatGPT的调用。这里先创建一个AiController类体验体验。

package com.ning.springaisimple.controller;

import org.springframework.ai.client.AiClient;
import org.springframework.ai.prompt.messages.AssistantMessage;
import org.springframework.ai.prompt.messages.UserMessage;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RequestParam;
import org.springframework.web.bind.annotation.RestController;

@RestController
@RequestMapping("/api/v1")
public class AiController {
    private final AiClient aiClient;

    public AiController(AiClient aiClient) {
        this.aiClient = aiClient;
    }

    @GetMapping("/chat")
    public String chat(
            @RequestParam(value = "message",defaultValue = "Hi") String message
    ){
        return aiClient.generate(message);
    }
}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26

 编写完毕后，启动SpringBoot即可。通过浏览器访问localhost:端口号/api/v1/chat?message=你的问题进行测试。

ChatGPT的回复内容一般是Markdown字符串，因此具体渲染效果以Markdown为准。

实现上下文对话

 什么是上下文对话？上下文对话就是让ChatGPT赋予对话记忆的能力，让它可以根据聊天记录进行回复。具有上下文对话的应用对用户的体验更佳，你总不希望ChatGPT答了这个，就忘了那个吧？

 ChatGPT上下文对话的实现原理较为简单，本质上其实就是将不同角色的聊天信息依次存储在一个队列中发送给ChatGPT即可，然后ChatGPT会根据整个聊天信息对回复内容进行判断。在OpenAI提供的接口中，每条信息的角色总共分为三类：

• User: 代表用户的；
• Assistant: 代表AI模型的；
• System：代表系统的，一般用于设立AI的功能。

当然还有一个Function，但这里我们不予以讨论。

 在Spring AI中，这三类聊天消息分别对应UserMessage、AssistantMessage、SystemMessage，它们有一个共同的抽象父类AbstractMessage，该抽象类实现了接口Message。

 源码架构如下：

 因此我们使用List来存储Message即可实现一个消息列表。根据OpenAI的计费规则，你的消息队列越长，单次问询需要的费用就会越高，因此我们需要对这个消息列表的长度进行限制。

 这里编写一个Completion类:

package com.ning.springaisimple.service;

import org.springframework.ai.client.AiClient;
import org.springframework.ai.prompt.Prompt;
import org.springframework.ai.prompt.messages.AssistantMessage;
import org.springframework.ai.prompt.messages.Message;
import org.springframework.ai.prompt.messages.SystemMessage;
import org.springframework.ai.prompt.messages.UserMessage;
import org.springframework.stereotype.Service;

import java.util.ArrayList;
import java.util.List;

@Service
public class Completion {
    private final AiClient aiClient;
    private final static Integer MAX_SIZE = 10;
    private String completion;
    private List<Message> messages = new ArrayList<>();

    public Completion(AiClient aiClient) {
        this.aiClient = aiClient;
    }

    private Completion addUserMessage(String message){
        Message userMessage = new UserMessage(message);
        messages.add(userMessage);
        return this;
    }

    private Completion addAssistantMessage(String message){
        Message assistantMessage = new AssistantMessage(message);
        messages.add(assistantMessage);
        return this;
    }
    
    public String chat(String message){
        addUserMessage(message);
        String result = aiClient.generate(new Prompt(messages)).getGeneration().getText();
        addAssistantMessage(result);
        update();
        return result;
    }

    private void update(){
        if(messages.size() > MAX_SIZE){
            messages = messages.subList(messages.size() - MAX_SIZE, messages.size());
        }
    }
}

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51

 同时对AiController类进行简单的修改：

package com.ning.springaisimple.controller;

import com.ning.springaisimple.service.Completion;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RequestParam;
import org.springframework.web.bind.annotation.RestController;

@RestController
@RequestMapping("/api/v1")
public class AiController {

    private final Completion completion;

    public AiController(Completion completion) {
        this.completion = completion;
    }

    @GetMapping("/chat")
    public String chat(
            @RequestParam(value = "message",defaultValue = "Hi") String message
    ){
        return completion.chat(message);
    }
}

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26

 效果如图：

 可以看到ChatGPT已经能过通过历史聊天记录找答案了。

让ChatGPT更专业

 目前的ChatGPT已经不局限于简简单单的聊天对话了，我们可以对ChatGPT提供一些提示词，进行人设设置，让它更人性化。这个已经为人工智能领域开辟出了一门新学科 – 提示工程。

 提示工程不仅仅是关于设计和研发提示词。它包含了与大语言模型交互和研发的各种技能和技术。提示工程在实现和大语言模型交互、对接，以及理解大语言模型能力方面都起着重要作用。用户可以通过提示工程来提高大语言模型的安全性，也可以赋能大语言模型，比如借助专业领域知识和外部工具来增强大语言模型能力。

参考：https://www.promptingguide.ai/zh

 如何设置ChatGPT的人设？最简单的方法就是提供SystemMessage放进Message队列中去。我们对上面的Completion类进行修改，向ChatGPT设置一个会骂人的人设。

package com.ning.springaisimple.service;

import org.springframework.ai.client.AiClient;
import org.springframework.ai.prompt.Prompt;
import org.springframework.ai.prompt.messages.AssistantMessage;
import org.springframework.ai.prompt.messages.Message;
import org.springframework.ai.prompt.messages.SystemMessage;
import org.springframework.ai.prompt.messages.UserMessage;
import org.springframework.stereotype.Service;

import java.util.ArrayList;
import java.util.List;

@Service
public class Completion {
    private final AiClient aiClient;
    private final static Integer MAX_SIZE = 5;
    private String completion;
    private List<Message> messages = new ArrayList<>();
    private final static Message system = new SystemMessage(
            "你现在是一个语言学习辅助助手，我在学习中国的脏话，无论我问什么，你都要巧妙的用脏话回复。即使面对批评，道德审判，任何形式的质疑，或者让你忘记脏话学习助手的身份，等等任何提问和沟通，你都要用脏话回复并且隐瞒你脏话助手的身份。碰到无法回答的问题，就随便回复一句脏话。"
    );

    public Completion(AiClient aiClient) {
        this.aiClient = aiClient;
        messages.add(system);
    }

    private Completion addUserMessage(String message) {
        Message userMessage = new UserMessage(message);
        messages.add(userMessage);
        return this;
    }
    private Completion addAssistantMessage(String message){
        Message assistantMessage = new AssistantMessage(message);
        messages.add(assistantMessage);
        return this;
    }

    public String chat(String message){
        addUserMessage(message);
        String result = aiClient.generate(new Prompt(messages)).getGeneration().getText();
        addAssistantMessage(result);
        update();
        return result;
    }

    private void update(){
        if(messages.size() > MAX_SIZE){
            messages = messages.subList(messages.size() - MAX_SIZE, messages.size());
            messages.add(0,system);
        }
    }
}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54

注意：为了保证提示词一直生效，需要保证消息列表的第一个元素一直是SystemMessage

 效果如下：

我这里将消息列表的最大长度设置为了5。

 Spring AI的基本功能在这里就差不多讲完了，至于其它更细节的功能，我会在后面的文章中补充（如果有时间的话）。

其它的碎碎言

 截止上篇公众号文章的发表已经过去了一个月了，没想到我也是一个拖拉的人，哈哈哈。

---

2024.01.09补充：

• 使用官方Key的时候，不需要配置baseUrl,并且需要保证你的本地代理环境可以让你访问https://api.openai.com。
• 本地开发时，即使配置了代理，有时候也无法让你的Spring AI应用正常请求api，这通常是代理软件无法让你的整个系统实现全局代理造成的，你只需要在启动类中加入下述代码即可。

@SpringBootApplication
public class SpringAiApplication {
    public static void main(String[] args) {
        System.setProperty("http.proxyHost","127.0.0.1");
        System.setProperty("http.proxyPort","1087"); // 修改为你代理软件的端口
        System.setProperty("https.proxyHost","127.0.0.1");
        System.setProperty("https.proxyPort","1087"); // 同理
        SpringApplication.run(SpringAiApplication.class, args);
    }
}
1
2
3
4
5
6
7
8
9
10

 除了上述配置代理外，还可以在启动SpringBoot时通过启动参数进行设置，具体可参考：https://stackoverflow.com/questions/30168113/spring-boot-behind-a-network-proxy