devbox
运维做开发
这个屌丝很懒，什么也没留下！
关注作者
热门标签
热门文章
当前位置:   article > 正文

SpringBoot-LangChain4j核心源码分析_toolspecification工具类

作者：运维做开发 | 2024-08-16 23:09:56

赞

踩

toolspecification工具类

跟踪一个aiService的调用流程

我们构建一个aiService的bean, 触发请求:

  1. @CrossOrigin
  2. @Slf4j
  3. @RestController
  4. class ChatController {
  5.     @Resource
  6.     private AssistantService assistantService;
  7.     
  8.     @GetMapping("/ai/assistant")
  9.     public String assistant(@RequestParam(defaultValue = "What can you do for me?") String message) {
  10.         String response = assistantService.chat(message);
  11.         log.info("Received message: {}, generated response: {}", message, response);
  12.         return response;
  13.     }
  14. }

定义AiService:

  1. @AiService
  2. public interface AssistantService {
  3.  
  4.     @SystemMessage(value = {
  5.             "you are system assistant, you can help me to do some works in this system.",
  6.             "if user want to generate table data, must input the table name and the number of rows."
  7.     })
  8.     String chat(String message);
  9. }

这里debug调用chat方法的时候实际上debug会走到dev.langchain4j.service.DefaultAiServices#build中的匿名InvocationHandler.invoke()方法

核心业务逻辑就是根据根据构建的aiService信息调用大模型的api:

如果有对当前的aiService定义添加tool工具, 那么会tool工具调用对应的大模型function calling的api, 这样模型会知道何时才会去调用系统内部的工具类.

@AiService如何构建的

实际上就是 langchain4j-spring-boot-starter 的自动装配流程

自动装配

starter主要作用就是确保所有必要的库和配置都被自动包含，从而减少了手动添加依赖和配置的工作量。

主要对 RAG的配置和AiService的配置

启动自动装配: 类 dev.langchain4j.spring.LangChain4jAutoConfig

LangChain4jAutoConfig

@Import注解用于导入其他的配置类，使得这些配置类中的bean定义可以被当前配置类所在的Spring容器中识别和管理。在这里，它导入了AiServicesAutoConfig和RagAutoConfig两个配置类，这意味着这两个配置类中的所有bean定义都将被包含在当前Spring容器中。

AiServicesAutoConfig的核心功能: 定义自定义Bean处理器

  1. @Bean
  2. BeanFactoryPostProcessor aiServicesRegisteringBeanFactoryPostProcessor() {
  3.     return beanFactory -> {
  4.  
  5.         // all components available in the application context
  6.         String[] chatLanguageModels = beanFactory.getBeanNamesForType(ChatLanguageModel.class);
  7.         String[] streamingChatLanguageModels = beanFactory.getBeanNamesForType(StreamingChatLanguageModel.class);
  8.         String[] chatMemories = beanFactory.getBeanNamesForType(ChatMemory.class);
  9.         String[] chatMemoryProviders = beanFactory.getBeanNamesForType(ChatMemoryProvider.class);
  10.         String[] contentRetrievers = beanFactory.getBeanNamesForType(ContentRetriever.class);
  11.         String[] retrievalAugmentors = beanFactory.getBeanNamesForType(RetrievalAugmentor.class);
  12.  
  13.         Set<String> tools = new HashSet<>();
  14.         for (String beanName : beanFactory.getBeanDefinitionNames()) {
  15.             try {
  16.                 Class<?> beanClass = Class.forName(beanFactory.getBeanDefinition(beanName).getBeanClassName());
  17.                 for (Method beanMethod : beanClass.getDeclaredMethods()) {
  18.                     if (beanMethod.isAnnotationPresent(Tool.class)) {
  19.                         tools.add(beanName);
  20.                     }
  21.                 }
  22.             } catch (Exception e) {
  23.                 // TODO
  24.             }
  25.         }
  26.  
  27.         findAiServices(beanFactory).forEach(aiServiceClass -> {
  28.  
  29.             if (beanFactory.getBeanNamesForType(aiServiceClass).length > 0) {
  30.                 // User probably wants to configure AI Service bean manually
  31.                 // TODO or better fail because user should not annotate it with @AiService then?
  32.                 return;
  33.             }
  34.  
  35.             GenericBeanDefinition aiServiceBeanDefinition = new GenericBeanDefinition();
  36.             aiServiceBeanDefinition.setBeanClass(AiServiceFactory.class);
  37.             aiServiceBeanDefinition.getConstructorArgumentValues().addGenericArgumentValue(aiServiceClass);
  38.             MutablePropertyValues propertyValues = aiServiceBeanDefinition.getPropertyValues();
  39.  
  40.             AiService aiServiceAnnotation = aiServiceClass.getAnnotation(AiService.class);
  41.  
  42.             addBeanReference(
  43.                     ChatLanguageModel.class,
  44.                     aiServiceAnnotation,
  45.                     aiServiceAnnotation.chatModel(),
  46.                     chatLanguageModels,
  47.                     "chatModel",
  48.                     "chatLanguageModel",
  49.                     propertyValues
  50.             );
  51.  
  52.             addBeanReference(
  53.                     StreamingChatLanguageModel.class,
  54.                     aiServiceAnnotation,
  55.                     aiServiceAnnotation.streamingChatModel(),
  56.                     streamingChatLanguageModels,
  57.                     "streamingChatModel",
  58.                     "streamingChatLanguageModel",
  59.                     propertyValues
  60.             );
  61.  
  62.             addBeanReference(
  63.                     ChatMemory.class,
  64.                     aiServiceAnnotation,
  65.                     aiServiceAnnotation.chatMemory(),
  66.                     chatMemories,
  67.                     "chatMemory",
  68.                     "chatMemory",
  69.                     propertyValues
  70.             );
  71.  
  72.             addBeanReference(
  73.                     ChatMemoryProvider.class,
  74.                     aiServiceAnnotation,
  75.                     aiServiceAnnotation.chatMemoryProvider(),
  76.                     chatMemoryProviders,
  77.                     "chatMemoryProvider",
  78.                     "chatMemoryProvider",
  79.                     propertyValues
  80.             );
  81.  
  82.             addBeanReference(
  83.                     ContentRetriever.class,
  84.                     aiServiceAnnotation,
  85.                     aiServiceAnnotation.contentRetriever(),
  86.                     contentRetrievers,
  87.                     "contentRetriever",
  88.                     "contentRetriever",
  89.                     propertyValues
  90.             );
  91.  
  92.             addBeanReference(
  93.                     RetrievalAugmentor.class,
  94.                     aiServiceAnnotation,
  95.                     aiServiceAnnotation.retrievalAugmentor(),
  96.                     retrievalAugmentors,
  97.                     "retrievalAugmentor",
  98.                     "retrievalAugmentor",
  99.                     propertyValues
  100.             );
  101.  
  102.             if (aiServiceAnnotation.wiringMode() == EXPLICIT) {
  103.                 propertyValues.add("tools", toManagedList(asList(aiServiceAnnotation.tools())));
  104.             } else if (aiServiceAnnotation.wiringMode() == AUTOMATIC) {
  105.                 propertyValues.add("tools", toManagedList(tools));
  106.             } else {
  107.                 throw illegalArgument("Unknown wiring mode: " + aiServiceAnnotation.wiringMode());
  108.             }
  109.  
  110.             BeanDefinitionRegistry registry = (BeanDefinitionRegistry) beanFactory;
  111.             registry.registerBeanDefinition(lowercaseFirstLetter(aiServiceClass.getSimpleName()), aiServiceBeanDefinition);
  112.         });
  113.     };
  114. }

核心功能

  • 这个 BeanFactoryPostProcessor 在 Spring 容器启动时执行，用于修改或注册新的 Bean 定义。
  • 它的主要任务是查找具有 @AiService 注解的类，并为这些类动态创建和注册 AiServiceFactory 的 Bean

AiServiceFactory

构建对应的实例:

实际调用的dev.langchain4j.service.DefaultAiServices#build, 根据实际的配置信息构建对应的aiService的bean对象

AiServicesAutoConfig执行流程

  1. 获取特定类型的 Bean 名称：
  • 查找所有ChatLanguageModel、StreamingChatLanguageModel、ChatMemory、ChatMemoryProvider、ContentRetriever和RetrievalAugmentor类型的 Bean 名称。
  1. 查找带有 @Tool 注解的 Bean：
  • 遍历所有 Bean 定义，查找带有@Tool注解的 Bean，并将它们的名称添加到tools集合中。
  1. 处理 @AiService 注解的类：
  • 查找所有带有@AiService注解的类。
  • 对于每个这样的类，如果它已经被定义为 Bean（即用户可能已经手动配置了它），则不执行任何操作（或可以考虑抛出异常）。
  • 否则，创建一个新的GenericBeanDefinition，其类为AiServiceFactory，并为其构造函数提供一个参数（即当前的@AiService注解的类）。
  • 接着，根据@AiService注解中的属性，查找和添加与这些属性相对应的 Bean 引用到AiServiceFactoryBean 的属性中。
  • 根据@AiService注解的wiringMode属性，将相应的工具（从@Tool注解中获取的或手动指定的）添加到AiServiceFactoryBean 的属性中。
  • 最后，将新创建的GenericBeanDefinition注册到 Spring 的BeanDefinitionRegistry中。
  • 总结: 就是根据@AiService去构建一个可以由AiServiceFactory创建的BeanDefinition。

@Tool工具的执行流程

测试用例: langchain4j-examples/spring-boot-example at 4d0bc3139d892afbdffaafe51200bb91f37af1cd · langchain4j/langchain4j-examples · GitHub

核心调用方法

dev.langchain4j.model.openai.OpenAiChatModel#generate(java.util.List<dev.langchain4j.data.message.ChatMessage>, java.util.List<dev.langchain4j.agent.tool.ToolSpecification>, dev.langchain4j.agent.tool.ToolSpecification)

构建请求

设置前置message:

  • UserMessage: 用户提问的Message

  • SystemMessage: 限定当前模型功能的Message

设置工具: 在前面讲到过, 在构建aiService的时候会将@Tool注释的工具封装成ToolSpecification工具添加到 AiServiceContext的属性toolSpecifications中, 当工具如果不为空就会告诉大模型可以用工具有哪些; 最后根据大模型的反馈调用具体的工具类.

封装请求:

dev.langchain4j.model.openai.OpenAiChatModel#generate(java.util.List<dev.langchain4j.data.message.ChatMessage>, java.util.List<dev.langchain4j.agent.tool.ToolSpecification>, dev.langchain4j.agent.tool.ToolSpecification)

实现AI-Agent的核心原理

处理返回的response: 这时候知道需要调用的工具有哪些

循环调用ai模型, 根据模型反馈需要调用的工具链并将结果告诉模型, 最后根据模型的response返回最终的执行结果给用户

核心源码调用流程:

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/运维做开发/article/detail/990235
推荐阅读
相关标签

Copyright © 2003-2013 www.wpsshop.cn 版权所有，并保留所有权利。

  

闽ICP备14008679号