向量数据库个人笔记_llama 向量数据库

向量数据库个人笔记

传统的搜索比如Mysql用b+树索引, EleasticSearch索引倒排但本质上都是精确匹配 基于向量检索技术, 做相似度判断去寻找最相似, 可以更好的对图片, 视频等非结构化数据做检索, 玩的就是多维

什么是向量检索?

当查找与当前相似度最高的内容时, 向量搜索都可简化为这三个步骤

1. 首先, 候选和已选内容都转为向量
2. 遍历候选向量与已选向量做余弦相似度计算，然后按照计算出的余弦相似度排序
3. 找出最相似的top N

Milvus向量数据库

Milvus&Llama_index

Llama_index结合milvus, 基于li的多种插件, 对于NLP十分擅长

# 使用llama_index读取数据
# 结合pylimvus导入到milvus数据库


#step1 - 读取数据为文档
from llama_index import download_loader
from glob import glob

MarkdownReader = download_loader("MarkdownReader")
markdownreader = MarkdownReader()

docs = []
for file in glob("./milvus-docs/site/en/**/*.md", recursive=True):
    docs.extend(markdownreader.load_data(file=file))


#step2 - 文档上传到数据库
from llama_index import GPTMilvusIndex
index = GPTMilvusIndex.from_documents(docs, host=HOST, port=PORT, overwrite=True)


#step3 - 查询数据
s = index.query("What is a collection?")
# Output:
1