devbox
小小林熬夜学编程
这个屌丝很懒，什么也没留下！
关注作者
热门标签
热门文章
当前位置:   article > 正文

开源模型应用落地-工具使用篇-Spring AI（七）_spring ai maven

作者：小小林熬夜学编程 | 2024-05-20 04:29:27

赞

踩

spring ai maven

一、前言

    在AI大模型百花齐放的时代，很多人都对新兴技术充满了热情，都想尝试一下。但是，实际上要入门AI技术的门槛非常高。除了需要高端设备，还需要面临复杂的部署和安装过程，这让很多人望而却步。不过，随着开源技术的不断进步，使得入门AI变得越来越容易。通过使用Ollama，您可以快速体验大语言模型的乐趣，不再需要担心繁琐的设置和安装过程。另外，通过集成Spring AI，让更多Java爱好者能便捷的将AI能力集成到项目中，接下来，跟随我的脚步，一起来体验一把。

二、术语

2.1、Spring AI

    是 Spring 生态系统的一个新项目，它简化了 Java 中 AI 应用程序的创建。它提供以下功能：

  • 支持所有主要模型提供商，例如 OpenAI、Microsoft、Amazon、Google 和 Huggingface。
  • 支持的模型类型包括“聊天”和“文本到图像”，还有更多模型类型正在开发中。
  • 跨 AI 提供商的可移植 API，用于聊天和嵌入模型。
  • 支持同步和流 API 选项。
  • 支持下拉访问模型特定功能。
  • AI 模型输出到 POJO 的映射。

2.2、Ollama

​​​​​​​    是一个强大的框架，用于在 Docker 容器中部署 LLM（大型语言模型）。它的主要功能是在 Docker 容器内部署和管理 LLM 的促进者，使该过程变得简单。它可以帮助用户快速在本地运行大模型，通过简单的安装指令，用户可以执行一条命令就在本地运行开源大型语言模型。

    Ollama 支持 GPU/CPU 混合模式运行，允许用户根据自己的硬件条件（如 GPU、显存、CPU 和内存）选择不同量化版本的大模型。它提供了一种方式，使得即使在没有高性能 GPU 的设备上，也能够运行大型模型。
 

三、前置条件

3.1、JDK 17+

    下载地址：https://www.oracle.com/java/technologies/downloads/#jdk17-windows

    

    类文件具有错误的版本 61.0, 应为 52.0

3.2、创建Maven项目

    SpringBoot版本为3.2.3

  1. <parent>
  2.     <groupId>org.springframework.boot</groupId>
  3.     <artifactId>spring-boot-starter-parent</artifactId>
  4.     <version>3.2.3</version>
  5.     <relativePath/> <!-- lookup parent from repository -->
  6. </parent>

3.3、导入Maven依赖包

  1. <dependency>
  2. 	<groupId>org.projectlombok</groupId>
  3. 	<artifactId>lombok</artifactId>
  4. 	<optional>true</optional>
  5. </dependency>
  6.  
  7. <dependency>
  8. 	<groupId>ch.qos.logback</groupId>
  9. 	<artifactId>logback-core</artifactId>
  10. </dependency>
  11.  
  12. <dependency>
  13. 	<groupId>ch.qos.logback</groupId>
  14. 	<artifactId>logback-classic</artifactId>
  15. </dependency>
  16.  
  17. <dependency>
  18. 	<groupId>cn.hutool</groupId>
  19. 	<artifactId>hutool-core</artifactId>
  20. 	<version>5.8.24</version>
  21. </dependency>
  22.  
  23. <dependency>
  24. 	<groupId>org.springframework.ai</groupId>
  25. 	<artifactId>spring-ai-openai-spring-boot-starter</artifactId>
  26. 	<version>0.8.0</version>
  27. </dependency>
  28.  
  29. <dependency>
  30. 	<groupId>org.springframework.ai</groupId>
  31. 	<artifactId>spring-ai-ollama-spring-boot-starter</artifactId>
  32. 	<version>0.8.0</version>
  33. </dependency>

3.4、 科学上网的软件

3.5、 安装Ollama及部署Qwen模型

    参见：开源模型应用落地-工具使用篇-Ollama（六）-CSDN博客

四、技术实现

4.1、调用Open AI

4.1.1、非流式调用

  1. @RequestMapping("/chat")
  2. public String chat(){
  3. 	String systemPrompt = "{prompt}";
  4. 	SystemPromptTemplate systemPromptTemplate = new SystemPromptTemplate(systemPrompt);
  5.  
  6. 	String userPrompt = "广州有什么特产？";
  7. 	Message userMessage = new UserMessage(userPrompt);
  8.  
  9. 	Message systemMessage = systemPromptTemplate.createMessage(MapUtil.of("prompt", "you are a helpful AI assistant"));
  10.  
  11. 	Prompt prompt = new Prompt(List.of(userMessage, systemMessage));
  12.  
  13. 	List<Generation> response = openAiChatClient.call(prompt).getResults();
  14.  
  15. 	String result = "";
  16.  
  17. 	for (Generation generation : response){
  18. 		String content = generation.getOutput().getContent();
  19. 		result += content;
  20. 	}
  21.  
  22. 	return result;
  23. }

    调用结果：

    

4.1.2、流式调用

  1. @RequestMapping("/stream")
  2. public SseEmitter stream(HttpServletResponse response){
  3. 	response.setContentType("text/event-stream");
  4. 	response.setCharacterEncoding("UTF-8");
  5. 	SseEmitter emitter = new SseEmitter();
  6.  
  7.  
  8. 	String systemPrompt = "{prompt}";
  9. 	SystemPromptTemplate systemPromptTemplate = new SystemPromptTemplate(systemPrompt);
  10.  
  11. 	String userPrompt = "广州有什么特产？";
  12. 	Message userMessage = new UserMessage(userPrompt);
  13.  
  14. 	Message systemMessage = systemPromptTemplate.createMessage(MapUtil.of("prompt", "you are a helpful AI assistant"));
  15. 	Prompt prompt = new Prompt(List.of(userMessage, systemMessage));
  16.  
  17. 	openAiChatClient.stream(prompt).subscribe(x -> {
  18. 		try {
  19. 			log.info("response: {}",x);
  20. 			List<Generation> generations = x.getResults();
  21. 			if(CollUtil.isNotEmpty(generations)){
  22. 				for(Generation generation:generations){
  23. 				   AssistantMessage assistantMessage =  generation.getOutput();
  24. 					String content = assistantMessage.getContent();
  25. 					if(StringUtils.isNotEmpty(content)){
  26. 						emitter.send(content);
  27. 					}else{
  28. 						if(StringUtils.equals(content,"null"))
  29. 						emitter.complete(); // Complete the SSE connection
  30. 					}
  31. 				}
  32. 			}
  33.  
  34.  
  35. 		} catch (Exception e) {
  36. 			emitter.complete();
  37. 			log.error("流式返回结果异常",e);
  38. 		}
  39. 	});
  40.  
  41. 	return emitter;
  42. }

流式输出返回的数据结构：

    调用结果：

 

4.2、调用Ollama API

Spring封装的很好，基本和调用OpenAI的代码一致

4.2.1、非流式调用

  1. @RequestMapping("/chat")
  2. public String chat(){
  3. 	String systemPrompt = "{prompt}";
  4. 	SystemPromptTemplate systemPromptTemplate = new SystemPromptTemplate(systemPrompt);
  5.  
  6. 	String userPrompt = "广州有什么特产？";
  7. 	Message userMessage = new UserMessage(userPrompt);
  8.  
  9. 	Message systemMessage = systemPromptTemplate.createMessage(MapUtil.of("prompt", "you are a helpful AI assistant"));
  10.  
  11. 	Prompt prompt = new Prompt(List.of(userMessage, systemMessage));
  12.  
  13. 	List<Generation> response = ollamaChatClient.call(prompt).getResults();
  14.  
  15. 	String result = "";
  16.  
  17. 	for (Generation generation : response){
  18. 		String content = generation.getOutput().getContent();
  19. 		result += content;
  20. 	}
  21.  
  22. 	return result;
  23. }

调用结果：

Ollam的server.log输出

4.2.2、流式调用

  1. @RequestMapping("/stream")
  2. public SseEmitter stream(HttpServletResponse response){
  3. 	response.setContentType("text/event-stream");
  4. 	response.setCharacterEncoding("UTF-8");
  5. 	SseEmitter emitter = new SseEmitter();
  6.  
  7.  
  8. 	String systemPrompt = "{prompt}";
  9. 	SystemPromptTemplate systemPromptTemplate = new SystemPromptTemplate(systemPrompt);
  10.  
  11. 	String userPrompt = "广州有什么特产？";
  12. 	Message userMessage = new UserMessage(userPrompt);
  13.  
  14. 	Message systemMessage = systemPromptTemplate.createMessage(MapUtil.of("prompt", "you are a helpful AI assistant"));
  15. 	Prompt prompt = new Prompt(List.of(userMessage, systemMessage));
  16.  
  17. 	ollamaChatClient.stream(prompt).subscribe(x -> {
  18. 		try {
  19. 			log.info("response: {}",x);
  20. 			List<Generation> generations = x.getResults();
  21. 			if(CollUtil.isNotEmpty(generations)){
  22. 				for(Generation generation:generations){
  23. 					AssistantMessage assistantMessage =  generation.getOutput();
  24. 					String content = assistantMessage.getContent();
  25. 					if(StringUtils.isNotEmpty(content)){
  26. 						emitter.send(content);
  27. 					}else{
  28. 						if(StringUtils.equals(content,"null"))
  29. 							emitter.complete(); // Complete the SSE connection
  30. 					}
  31. 				}
  32. 			}
  33.  
  34.  
  35. 		} catch (Exception e) {
  36. 			emitter.complete();
  37. 			log.error("流式返回结果异常",e);
  38. 		}
  39. 	});
  40.  
  41. 	return emitter;
  42. }

调用结果：

五、附带说明

5.1、OpenAiChatClient默认使用gpt-3.5-turbo模型

5.2、流式输出如何关闭连接

    不能判断是否为''（即空字符串），以下代码将提前关闭连接

    流式输出会返回''的情况

      应该在返回内容为字符串null的时候关闭

5.3、配置文件中指定的Ollama的模型参数，要和运行的模型一致

5.4、OpenAI调用完整代码

  1. import cn.hutool.core.collection.CollUtil;
  2. import cn.hutool.core.map.MapUtil;
  3. import jakarta.servlet.http.HttpServletResponse;
  4. import lombok.extern.slf4j.Slf4j;
  5. import org.apache.commons.lang3.StringUtils;
  6. import org.springframework.ai.chat.Generation;
  7. import org.springframework.ai.chat.messages.AssistantMessage;
  8. import org.springframework.ai.chat.messages.Message;
  9. import org.springframework.ai.chat.messages.UserMessage;
  10. import org.springframework.ai.chat.prompt.Prompt;
  11. import org.springframework.ai.chat.prompt.SystemPromptTemplate;
  12. import org.springframework.ai.openai.OpenAiChatClient;
  13. import org.springframework.beans.factory.annotation.Autowired;
  14. import org.springframework.web.bind.annotation.RequestMapping;
  15. import org.springframework.web.bind.annotation.RestController;
  16. import org.springframework.web.servlet.mvc.method.annotation.SseEmitter;
  17.  
  18. import java.util.List;
  19.  
  20. @Slf4j
  21. @RestController
  22. @RequestMapping("/api")
  23. public class OpenaiTestController {
  24.     @Autowired
  25.     private OpenAiChatClient openAiChatClient;
  26.  
  27. //    http://localhost:7777/api/chat
  28.     @RequestMapping("/chat")
  29.     public String chat(){
  30.         String systemPrompt = "{prompt}";
  31.         SystemPromptTemplate systemPromptTemplate = new SystemPromptTemplate(systemPrompt);
  32.  
  33.         String userPrompt = "广州有什么特产？";
  34.         Message userMessage = new UserMessage(userPrompt);
  35.  
  36.         Message systemMessage = systemPromptTemplate.createMessage(MapUtil.of("prompt", "you are a helpful AI assistant"));
  37.  
  38.         Prompt prompt = new Prompt(List.of(userMessage, systemMessage));
  39.  
  40.         List<Generation> response = openAiChatClient.call(prompt).getResults();
  41.  
  42.         String result = "";
  43.  
  44.         for (Generation generation : response){
  45.             String content = generation.getOutput().getContent();
  46.             result += content;
  47.         }
  48.  
  49.         return result;
  50.     }
  51.  
  52.     @RequestMapping("/stream")
  53.     public SseEmitter stream(HttpServletResponse response){
  54.         response.setContentType("text/event-stream");
  55.         response.setCharacterEncoding("UTF-8");
  56.         SseEmitter emitter = new SseEmitter();
  57.  
  58.  
  59.         String systemPrompt = "{prompt}";
  60.         SystemPromptTemplate systemPromptTemplate = new SystemPromptTemplate(systemPrompt);
  61.  
  62.         String userPrompt = "广州有什么特产？";
  63.         Message userMessage = new UserMessage(userPrompt);
  64.  
  65.         Message systemMessage = systemPromptTemplate.createMessage(MapUtil.of("prompt", "you are a helpful AI assistant"));
  66.         Prompt prompt = new Prompt(List.of(userMessage, systemMessage));
  67.  
  68.         openAiChatClient.stream(prompt).subscribe(x -> {
  69.             try {
  70.                 log.info("response: {}",x);
  71.                 List<Generation> generations = x.getResults();
  72.                 if(CollUtil.isNotEmpty(generations)){
  73.                     for(Generation generation:generations){
  74.                        AssistantMessage assistantMessage =  generation.getOutput();
  75.                         String content = assistantMessage.getContent();
  76.                         if(StringUtils.isNotEmpty(content)){
  77.                             emitter.send(content);
  78.                         }else{
  79.                             if(StringUtils.equals(content,"null"))
  80.                             emitter.complete(); // Complete the SSE connection
  81.                         }
  82.                     }
  83.                 }
  84.  
  85.  
  86.             } catch (Exception e) {
  87.                 emitter.complete();
  88.                 log.error("流式返回结果异常",e);
  89.             }
  90.         });
  91.  
  92.         return emitter;
  93.     }
  94. }

5.5、Ollama调用完整代码

  1. import cn.hutool.core.collection.CollUtil;
  2. import cn.hutool.core.map.MapUtil;
  3. import jakarta.servlet.http.HttpServletResponse;
  4. import lombok.extern.slf4j.Slf4j;
  5. import org.apache.commons.lang3.StringUtils;
  6. import org.springframework.ai.chat.Generation;
  7. import org.springframework.ai.chat.messages.AssistantMessage;
  8. import org.springframework.ai.chat.messages.Message;
  9. import org.springframework.ai.chat.messages.UserMessage;
  10. import org.springframework.ai.chat.prompt.Prompt;
  11. import org.springframework.ai.chat.prompt.SystemPromptTemplate;
  12. import org.springframework.ai.ollama.OllamaChatClient;
  13. import org.springframework.beans.factory.annotation.Autowired;
  14. import org.springframework.web.bind.annotation.RequestMapping;
  15. import org.springframework.web.bind.annotation.RestController;
  16. import org.springframework.web.servlet.mvc.method.annotation.SseEmitter;
  17.  
  18. import java.util.List;
  19.  
  20. @Slf4j
  21. @RestController
  22. @RequestMapping("/api")
  23. public class OllamaTestController {
  24.     @Autowired
  25.     private OllamaChatClient ollamaChatClient;
  26.  
  27.     @RequestMapping("/chat")
  28.     public String chat(){
  29.         String systemPrompt = "{prompt}";
  30.         SystemPromptTemplate systemPromptTemplate = new SystemPromptTemplate(systemPrompt);
  31.  
  32.         String userPrompt = "广州有什么特产？";
  33.         Message userMessage = new UserMessage(userPrompt);
  34.  
  35.         Message systemMessage = systemPromptTemplate.createMessage(MapUtil.of("prompt", "you are a helpful AI assistant"));
  36.  
  37.         Prompt prompt = new Prompt(List.of(userMessage, systemMessage));
  38.  
  39.         List<Generation> response = ollamaChatClient.call(prompt).getResults();
  40.  
  41.         String result = "";
  42.  
  43.         for (Generation generation : response){
  44.             String content = generation.getOutput().getContent();
  45.             result += content;
  46.         }
  47.  
  48.         return result;
  49.     }
  50.  
  51.  
  52.     @RequestMapping("/stream")
  53.     public SseEmitter stream(HttpServletResponse response){
  54.         response.setContentType("text/event-stream");
  55.         response.setCharacterEncoding("UTF-8");
  56.         SseEmitter emitter = new SseEmitter();
  57.  
  58.  
  59.         String systemPrompt = "{prompt}";
  60.         SystemPromptTemplate systemPromptTemplate = new SystemPromptTemplate(systemPrompt);
  61.  
  62.         String userPrompt = "广州有什么特产？";
  63.         Message userMessage = new UserMessage(userPrompt);
  64.  
  65.         Message systemMessage = systemPromptTemplate.createMessage(MapUtil.of("prompt", "you are a helpful AI assistant"));
  66.         Prompt prompt = new Prompt(List.of(userMessage, systemMessage));
  67.  
  68.         ollamaChatClient.stream(prompt).subscribe(x -> {
  69.             try {
  70.                 log.info("response: {}",x);
  71.                 List<Generation> generations = x.getResults();
  72.                 if(CollUtil.isNotEmpty(generations)){
  73.                     for(Generation generation:generations){
  74.                         AssistantMessage assistantMessage =  generation.getOutput();
  75.                         String content = assistantMessage.getContent();
  76.                         if(StringUtils.isNotEmpty(content)){
  77.                             emitter.send(content);
  78.                         }else{
  79.                             if(StringUtils.equals(content,"null"))
  80.                                 emitter.complete(); // Complete the SSE connection
  81.                         }
  82.                     }
  83.                 }
  84.  
  85.  
  86.             } catch (Exception e) {
  87.                 emitter.complete();
  88.                 log.error("流式返回结果异常",e);
  89.             }
  90.         });
  91.  
  92.         return emitter;
  93.     }
  94. }

5.6、核心配置

  1. spring:
  2.   ai:
  3.     openai:
  4.       api-key: sk-xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx
  5.     ollama:
  6.       base-url: http://localhost:11434
  7.       chat:
  8.         model: qwen:1.8b-chat

5.7、启动类

  1. import org.springframework.boot.SpringApplication;
  2. import org.springframework.boot.autoconfigure.SpringBootApplication;
  3.  
  4. @SpringBootApplication
  5. public class AiApplication {
  6.  
  7.     public static void main(String[] args) {
  8.         System.setProperty("http.proxyHost","127.0.0.1");
  9.         System.setProperty("http.proxyPort","7078"); // 修改为你代理软件的端口
  10.         System.setProperty("https.proxyHost","127.0.0.1");
  11.         System.setProperty("https.proxyPort","7078"); // 同理
  12.  
  13.         SpringApplication.run(AiApplication.class, args);
  14.     }
  15.  
  16. }

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/小小林熬夜学编程/article/detail/596121
推荐阅读
相关标签

Copyright © 2003-2013 www.wpsshop.cn 版权所有，并保留所有权利。

  

闽ICP备14008679号