当前位置:   article > 正文

大模型(LLM)应用:根据自己数据集的问答聊天;text2vec句向量生成处理数据集、RAG 检索增强案例_大模型数据集教程

大模型数据集教程

参考链接:
基于本地知识的 ChatGLM 问答
https://github.com/imClumsyPanda/langchain-ChatGLM
https://www.cnblogs.com/fxjwind/p/17401783.html
https://juejin.cn/post/7236028062873550908

一、LLM 自有数据使用方法

1、使用框架步骤

在这里插入图片描述
1)首先将本地数据集(本地知识)embedding 存到向量库中

2)使用时将用户问题首先embedding ,然后通过向量相似度从上面的向量库召回相关内容

3)提示(prompt)构建,将用户问题与向量库召回的最相关的内容进行提示构建

4)用构建好的提示送到LLM大模型进行回答

2、简单示例代码

具体实现请参考https://github.com/imClumsyPanda/langchain-ChatGLM;本地由于点资源问题,只简单示例下第四步4)用构建好的提示送到LLM大模型进行回答

chatglm参考:https://blog.csdn.net/weixin_42357472/article/details/130342799

from transformers import 
    声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/爱喝兽奶帝天荒/article/detail/1012083
    推荐阅读
    相关标签
      

    闽ICP备14008679号