- 1AI伪原创神器，轻松拥有！_ai伪原创工具
- 2ROS仿真机器人（安装、配置、测试、建图、定位、路径规划）_ros仿真环境搭建
- 3NLP定义和机器翻译_nlp机器翻译
- 4（2023，Diffusion & 稳健性 & 攻击）稳定扩散模型是不稳定的_diffusion model生成不稳定
- 5多模态情感分析_adversarial and domain-aware bert for cross-domain
- 6如何使用 Gemma LLM？_gemma的输出如何过滤掉输入信息
- 7Javascript高级面试
- 8显示器校准软件：BetterDisplay Pro for Mac v2.0.11激活版下载_mac betterdisplay下载
- 92022李宏毅机器学习深度学习学习笔记第十九周_hidden states
- 10MySQL提示“too many connections“的解决方法_too many connections mysql
【chatglm3】（4）：如何设计一个知识库问答系统，参考智谱AI的知识库系统，_chatglm3 知识库
赞
踩
0，视频地址
https://www.bilibili.com/video/BV16j411E7FX/?vd_source=4b290247452adda4e56d84b659b0c8a2
【chatglm3】（4）：如何设计一个知识库问答系统，参考智谱AI的知识库系统，学习设计理念，开源组件
1，知识库项目地址
https://open.bigmodel.cn/knowledge
知识配置：
2，系统原理参考
项目地址是：
https://github.com/chatchat-space/Langchain-Chatchat
gitee搬运的项目：
https://gitee.com/yang_hong_quan/Langchain-Chatchat
文档流程：
3，涉及系统开发
智谱AI大模型接口：
https://open.bigmodel.cn/dev/api#text_embedding
https://open.bigmodel.cn/dev/api#http
4，向量数据库
| 名称 | 开源 | 社区星 | 语言 | 说明 |
|---|---|---|---|---|
| weaviate | 是 | 5.3k star | Go | 同时支持向量与对象的存储、支持向量检索与结构化过滤、具备主流模式成熟的使用案例。高速、灵活，不仅仅具备向量检索，还会支持推荐、总结等能力 |
| qdrant | 是 | 6.3k star | Rust | 向量存储与检索、云原生、分布式、支持过滤、丰富的数据类型、WAL日志写入 |
| milvus | 是 | 17.7k star | Go | 极高的检索性能: 万亿矢量数据集的毫秒级搜索非结构化数据的极简管理丰富的API跨平台实时搜索和分析可靠：具有很高的容灾与故障转移能力高度可拓展与弹性支持混合检索统一的Lambda架构社区支持、行业认可。 |
milvus 向量数据库可以研究下：
可以使用docker 进行项目部署
https://milvus.io/docs/install_standalone-docker.md
5，开源模型 Embeddings
Text2vec文本表征及相似度计算：包括text2vec-large-chinese（LERT，升级版）、base（CoSENT方法训练，MacBERT）两个模型。这个模型也使用了word2vec（基于腾讯的800万中文词训练）、SBERT(Sentence-BERT)、CoSENT(Cosine Sentence)三种表示方法训练
https://modelscope.cn/models/thomas/text2vec-large-chinese/summary
百度的 ernie-3.0-base-zh：https://github.com/PaddlePaddle/PaddleNLP
SimCSE：https://github.com/princeton-nlp/SimCSE
M3E：Moka Massive Mixed Embedding的缩写，由MokaAI训练，训练脚本使用 uniem，评测BenchMark使用MTEB-zh，通过千万级 (2200w+) 的中文句对数据集进行训练。
https://www.modelscope.cn/models/xrunda/m3e-base/summary
6，总结
通过大语言模型快速搭建本地知识库系统。
将本地数据知识结合业务场景应用。非常不错的事情。
最重要的是转换格式，做 embedding ，然后存储到向量数据库中。
