赞
踩
杨亦诚
通常情况下,LLM获取知识的途径仅限于训练时的样本数据以及Prompt中包含的上下文信息,因此如果缺少有效的外部信息获取途径,LLM便无法像一个智能体一样自主学习知识并做出行动,这也是为什么我们要引入Agent的概念。
顾名思义Agent便是让LLM像代理一样来对接用户需求,将问题拆解后,通过调用外部工具的方式来解决这些问题,不同于传统的人工智能,Agent 具备通过主动思考、调用工具去逐步完成给定目标的能力。代理的核心思想是使用LLM来进行规划,让LLM像“路由器”一样 ,选择下一步要执行的操作。在代理中,LLM用作推理引擎,以确定要执行哪些操作以及按什么顺序执行,这些操作往往需要和一组工具(如搜索引擎、数据库、网站等)集成, 用来提升LLM的行动能力。
图:LangChain中Agent的运行流程
上面这张图展示的就是LLM作为Agent在一个AI智能体中承担的作用,LLM会根据用户请求,将其拆解为一系列任务,根据任务的先后次序来调用(Action)不同的外部工具(Tools),并根据从工具中得到的结果(Observation)来规划(Plan)下一步行动,最终当满足用户需求后,给出最终反馈,类似于在强化学习中,通过Action和React机制实现最终的收敛。接下来我们就通过一个简单的案例看一下如何用OpenVINO™和LangChain实现这个过程。
根据LangChain的官方教程,我们首先需要为Agent定义一组工具Function,以供其调用。官方也给出了一个简单的示例,如何通过@tool修饰器来定义了一组基本的运算函数:
- from langchain_core.tools import tool
-
- @tool
-
- def multiply(first_int: int, second_int: int) -> int:
-
- """Multiply two integers together."""
-
- return first_int * second_int
这里我们可以同时创建多个工具,Agent会根据用户需求,自主选择最合适的工具,并获取结果。除了通过自定义的方式创建工具Function外,LangChain的生态合作伙伴也为我们预先定义了很多实用的工具,例如使用Wikipedia进行关键词检索,或是借助ChatGPT服务为你完成更复杂的任务。
第二步则是要创建Prompt Template模板,在很多LLM应用中也被叫做Prompt工程。目的是激活LLM规划和行动的能力。目前本地Agent比较常用的模板形态有Function call,Self-ask和ReAct。由于Function call能力需要在模型训练的过程中进行注入,所以这边不做讨论。Self-ask提出了一种把问题拆解成子问题的Prompt范式,每一步模型都会自我提问是否可以把问题改写/拆解成一个简单的子问题,并进行回答,回答时可以调用搜索工具来获得答案,然后根据工具返回结果,继续进行自我提问,直到获得最终答案。ReAct文如其名,模型推理分成了两个部分,Reason和Action。Reason生成分析步骤,Action生成工具调用请求,二者交替进行直到得到最终的结果。和Self-ask对比,ReAct进一步把推理和工具调用进行了解耦, 在Self-ask中,自我提问既是推理步骤也是搜索工具的请求Query,而在ReAct中工具调用的请求在推理步骤之后,这样可以更好的支持搜索以外的其他工具。
图:ReAct工作机制
在该项目中以ReAct为例,可以看到这个Prompt Template为LLM构建了一个从想法(Thought),行动(Action),观察结果(Observation)到最终答案(Final Answer:)完整的思维链,并且整个思考过程被要求进行多次的重复,直到LLM从工具中得到的有效信息足够支持其解决用户请求。
- prompt = PromptTemplate.from_template(
-
- """Answer the following questions as best you can. You have access to the following tools:
- {tools}
- Use the following format:
- Question: the input question you must answer
- Thought: you should always think about what to do
- Action: the action to take, should be one of [{tool_names}]
- Action Input: the input to the action
- Observation: the result of the action
- ... (this Thought/Action/Action Input/Observation can repeat N times)
- Thought: I now know the final answer
- Final Answer: the final answer to the original input question
- Begin!
- Question: {input}
- Thought:{agent_scratchpad}"""
-
- )
目前OpenVINO™已经被集成进了LangChain中HuggingFace Pipeline LLM组件,开发者可以直接通过修改Backend的方式,创建一个基于OpenVINO的LLM实例,并像其他LLM实例一样在LangChain中进行调用,其中model_id可以是一个HuggingFace的模型ID,也可以是本地的PyTorch或者OpenVINO格式模型路径:
- ov_llm = HuggingFacePipeline.from_model_id(
- model_id=model_path,
- task="text-generation",
- backend="openvino",
- model_kwargs={"device": device.value, "ov_config": ov_config},
- pipeline_kwargs={"max_new_tokens": 1024},
- )
关于OpenVINO LLM组件更多的信息和使用方式可以访问:
https://python.langchain.com/v0.1/docs/integrations/llms/openvino/
在这个项目中,我们以“Intel/neural-chat-7b-v3-1”大语言模型为例,在完成LLM实例, Tools和Prompt Template创建后,可以利用LangChain中Agent相关的API非常快速地搭建本地Agent服务:
- output_parser = ReActSingleInputOutputParser()
-
- agent = create_react_agent(ov_llm, tools, prompt, output_parser=output_parser)
- agent_executor = AgentExecutor(agent=agent, tools=tools, verbose=True)
由于LangChain默认解析ReAct输出的脚本无法很好地识别HuggingFace Pipeline的生成结果,所以这里我们需要自己定义一个custom_output_parser.py脚本,用于将模型原始的输出结果转化为具体的行动(Action),例如如何匹配工具函数的输入数据。以一个简单的数学运算为例,可以看到Agent在理解用户问题后,将他拆分为多个行动,并将多个行动的观察结果进行整合,得到最终答案。
-
-
- Question: Take 3 to the fifth power and multiply that by the sum of twelve and three
- Thought: We need to exponentiate 3 to the power of 5, then multiply the result by the sum of 12 and 3
- Action: exponentiate
- Action Input: base: 3, exponent: 5
- Observation: 243
- Action: add
- Action Input: first_int: 12, second_int: 3
- Observation: 15
- Action: multiply
- Action Input: first_int: 243, second_int: 15
- Observation: 3645
- Thought: I now know the final answer
- Final Answer: 3645
此外,在借助LangChain中预置的Wikipedia查询工具,我们也可以搭建起一个基于Wikipedia知识库检索的Agent工具:
图:面向Wikipedia的知识库检索Agent
基于LLM构建的AI智能体,虽然无法做到面面俱到,但他却可以找到最合适的帮手一同完成任务。除了以上这些示例外,我们还可以利用Agent,RAG以及多模态模型等技术,创建更复杂的应用体系,例如将人类指令转化为机器臂的具体动作,或是根据用户请求绘制创建文本或音视频内容。
作为通过通用人工智能(AGI)的必经之路,Agent 就好比是一个能够感知环境、进行决策和执行动作的智能实体,像人一样感知世界,运用工具,与他人进行交互。相信在OpenVINO™的加持下,完全本地的AI智能体服务将成为可能。
https://github.com/openvinotoolkit/openvino_notebooks/tree/latest/notebooks/llm-rag-langchain
https://github.com/openvinotoolkit/openvino_notebooks/tree/latest/notebooks/llm-agent-langchain
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。