赞
踩
自从chatgpt问世以来,全球就进入了AI新时代,大家都在开发自己的大模型LLM,但是由于开发大模型需要昂贵的硬件成本,因此只有头部互联网科技公司才有能力玩大模型,国外以openai,google,Meta,Microsoft为首,国内以华为,百度,360,抖音,讯飞为首,总体上国内大模型能力要落后于国外大模型。更多的开发者以及小公司专注于大模型应用的开发,开发这些应用少不了一些开发框架的支持,可以帮助开发者快速落地应用,今天就来讲讲3个最火的开发框架。
目前有AIGC,RAG,Agent三大领域,都能带来不错商业价值。
Langchain算是最火的AI应用开发框架了。它主要包括了4大模块:
我们主要用到的还是 LangChain的python库,基于他们提供的库,你可以完成如下应用:
LlamaIndex 是一个数据框架,可用于基于 LLM 的应用程序,以摄取、构建和访问私有或特定领域的数据。它可以在 Python(这些文档)和 Typescript 中使用,对chatgpt支持比较好,里面的一些默认prompt都是基于chatgpt的,如果你使用其他模型,需要自己修改这些prompt。
LlamaIndex 提供以下工具:
数据连接器从其本机源和格式引入现有数据。这些可以是 API、PDF、SQL 等等。
数据索引以中间表示形式构建数据,这些表示形式对 LLM 来说既简单又高效。
引擎提供对数据的自然语言访问。例如:
数据代理是由 LLM 驱动的知识工作者,通过工具进行增强,从简单的帮助程序函数到 API 集成等。
应用程序集成将 LlamaIndex 重新绑定到生态系统的其余部分。这可能是 LangChain、Flask、Docker、ChatGPT 或…别的东西!
不同于Langchian提供各种各样的工具,LlamaIndex 专注于解决RAG领域的问题,LlamaIndex 采用一种不同的方法,称为检索增强生成 (RAG)。LlamaIndex 没有要求 LLM 立即生成答案,而是:
RAG 克服了微调方法的所有三个弱点:
Haystack是一个开源框架,用于构建生产就绪的LLM应用程序,检索增强的生成管道和最先进的搜索系统,这些系统可以智能地处理大型文档集合。它包含以下基本组件:
Haystack提供了各种节点,每个节点执行不同类型的任务。这些通常由最新的 LLM 和变压器模型提供支持。在代码方面,它们是具有可直接调用的方法的 Python 类。例如,要使用 ,您需要做的就是为其提供文档、专为问答而设计的问答和查询。PromptNodePromptTemplate
使用 Haystack 节点在这个级别上工作是一种动手实践的方法。它为您提供了一种非常直接的方式来操作输入和检查输出。这对于探索、原型设计和调试非常有用。
Haystack建立在这样一种理念之上,即伟大的系统不仅仅是其各部分的总和。通过组合不同的节点,您可以创建功能强大且可定制的系统。管道是使这种模块化方法发挥作用的关键。
将节点添加到管道时,可以定义数据如何从一个节点流向下一个节点,直到管道达到最终结果。除了简化数据流逻辑之外,这还允许复杂的路由选项,例如涉及决策节点的路由选项。
代理是一个非常通用的、基于提示的组件,它使用大型语言模型,并采用推理来回答超出提取式或生成式问答能力的复杂问题。它对于必须组合来自多个源的信息才能得出答案的多跃点问答方案特别有用。
当代理收到查询时,它会形成一个行动计划,其中包含它必须完成的步骤。然后,它从选择正确的工具开始,并继续使用每个工具的输出作为下一个工具的输入。它循环使用这些工具,直到达到最终答案。
代理可以使用 Haystack 管道、节点和 Web 查询作为工具来增强其解决最复杂搜索任务的能力。
要部署搜索系统,您需要的不仅仅是一个 Python 脚本。您需要一种服务,该服务可以保持运行状态,在请求传入时处理请求,并可由许多不同的应用程序调用。为此,Haystack 附带了一个旨在在生产环境中工作的 REST API。
如果你是新手对于LLM相关知识不清楚,只是想着试试,你可以从langchain开始,他们的文档对新手比较友好,一些概念也比较简单,代码也便于理解,可以帮助你入门简单的LLM应用。如果你已经具备相关LLM知识,并且具备coding能力,想要开发商业应用,你可以使用LlamaIndex,因为它帮你封装好了很多解决RAG问题的组件,你可以直接使用,但是你需要自己调式,修改一些prompt以满足自己应用的要求。最后如果你能接受Haystack的代码风格你可以选择使用它,我个人感觉它的代码风格很难让人接受,使用起来有点难受,能力和LlamaIndex 差不多,但是更加灵活,你可以自己定义各种处理流程。
如果喜欢我的文章,请关注公众号:程序员危机,获取更多信息。
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。