当前位置:   article > 正文

Spring AI Chat 简单示例

Spring AI Chat 简单示例

官方文档地址: https://docs.spring.io/spring-ai/reference/index.html

Spring AI 可以方便 Java 开发者在代码中集成 AI 的功能,通过 Spring 提供的抽象,可以方便的切换不同的AI提供商,Spring AI 是对 AI 的使用,并不涉及 AI 的训练。

特别注意: Spring AI 目前还很不稳定,官方文档还有大量错误,API 也会变动导致不兼容,当前文章示例使用的 0.8.1 版本。

创建初始项目

可以通过 https://start.spring.io/ 创建一个包含 Spring AI 的初始项目:
在这里插入图片描述

上图所示,我们添加最常见的 OpenAI 依赖,Spring AI 主要添加了下面的 BOM:

<dependency>
	<groupId>org.springframework.ai</groupId>
	<artifactId>spring-ai-bom</artifactId>
	<version>0.8.1</version>
	<type>pom</type>
	<scope>import</scope>
</dependency>
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7

还有我们选择的 OpenAI:

<dependency>
	<groupId>org.springframework.ai</groupId>
	<artifactId>spring-ai-openai-spring-boot-starter</artifactId>
</dependency>
  • 1
  • 2
  • 3
  • 4

示例代码

为了更清楚的了解 Spring AI,本文使用更底层的代码来演示 Spring AI 的功能。

由于可能无法直接访问 OpenAI,在Java中进行调用时,可以通过下面的方式设置代理:

System.setProperty("https.proxyHost", "localhost");
System.setProperty("https.proxyPort", "7890");
  • 1
  • 2

除了上面方式外,如果你部署过 ChatGPT-Next-Web ,还可以通过间接的方式调用 OpenAI,可以使用类似下面形式的URL和TOKEN:

  • URL:https://你的域名/api/openai/
  • TOKEN: nk-你的CODE

我们可以通过下面的方式创建 OpenAiApi:

var openAiApi = new OpenAiApi("token");
//为了避免泄漏token,还可以配置环境变量后使用下面方式
//注意使用IDEA时,配置环境变量后需要完全关闭IDEA重启才能生效
var openAiApi = new OpenAiApi(System.getenv("OPENAI_API_KEY"));
  • 1
  • 2
  • 3
  • 4

如果使用 ChatGPT-Next-Web 代理的接口,可以使用带有 baseUrl 构造参数的方法。

var openAiApi = new OpenAiApi("https://你的域名/api/openai/", "nk-你的CODE");
//为了避免泄漏token,还可以配置环境变量后使用下面方式
//注意使用IDEA时,配置环境变量后需要完全关闭IDEA重启才能生效
var openAiApi = new OpenAiApi(
		System.getenv("OPENAI_BASE_URL"), 
		System.getenv("OPENAI_API_KEY"));
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6

上面代码使用了具体的 OpenAiApi,这一层是具体的实现,一般通过 starter 的配置来动态创建,接下来是更通用的 ChatClient 接口(这里特地指定了类型,没有使用 var):

ChatClient chatClient = new OpenAiChatClient(openAiApi, OpenAiChatOptions.builder()
		.withModel("gpt-3.5-turbo")
		.withTemperature(0.4F)
		.withMaxTokens(200)
		.withFunctionCallbacks(List.of(
				FunctionCallbackWrapper.builder(new MockWeatherService())
				.withName("CurrentWeather")
				.withDescription("Get the weather in location").build()
		))
		.build());
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10

在上面的客户端中指定了 openAiApi,指定了模型名和其他参数,还特地增加了一个函数回调,增加了一个函数 CurrentWeather,通过这个函数提供的实现 MockWeatherService 可以让 ChatGPT 拥有获取实时温度的功能,这里只是演示,所以没有对接真实的 API,直接返回的随机数:

public static class MockWeatherService
	implements Function<MockWeatherService.Request, MockWeatherService.Response> {
	public enum Unit { C, F }
	public record Request(String location, Unit unit) {}
	public record Response(double temp, Unit unit) {}

	public Response apply(Request request) {
		return new Response(Math.random() * 40, Unit.C);
	}
}
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10

ChatClient 最简单的接口是 default String call(String message) 方法,输入提示词返回结果,我们这里为了演示函数功能,使用复杂的接口方法 ChatResponse call(Prompt prompt)

ChatResponse response = chatClient.call(
	new Prompt("北京、石家庄的天气怎么样,适合穿什么衣服?温度保留1位小数。", 
	OpenAiChatOptions.builder().withFunction("CurrentWeather").build()));

System.out.println(response.getResult().getOutput().getContent());
  • 1
  • 2
  • 3
  • 4
  • 5

目前使用的 Function 功能只有 OpenAI 支持,这里只能使用 OpenAiChatOptions 指定要使用什么函数,这里要注意,前面定义的时候是在注册函数,在提示词中需要指定要使用的函数,如果不指定函数就不会生效。上面示例执行的结果如下:

北京目前气温为28.8°C,石家庄目前气温为11.8°C。
根据当前天气情况,建议穿着清凉舒适的夏季衣服在北京,而在石家庄则建议穿着春秋过渡季节的衣服。
  • 1
  • 2

目前的 Spring AI 还不适合用于生产,接口变化比较大,而且提供者无关的抽象还不够完善,官方文档中示例代码落后,有很多都无法执行。希望 Spring AI 越来越强大,成为 Java 开发中的 LangChain 和 LlamaIndex。

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/AllinToyou/article/detail/647707
推荐阅读
相关标签
  

闽ICP备14008679号