7个向量数据库对比：Milvus、Pinecone、Vespa、Weaviate、Vald、GSI 和 Qdrant_7个向量数据库的详细比较

本文简要总结了当今市场上正在积极开发的7个向量数据库，Milvus、Pinecone、Vespa、Weaviate、Vald、GSI 和 Qdrant 的详细比较。

我们已经接近在搜索引擎体验的基础层面上涉及机器学习：在多维多模态空间中编码对象。这与传统的关键字查找不同（即使通过同义词/语义进行了增强）——在许多有趣的方面：

• 对象级别的集合级别相似性。您可以使用相似度函数（距离度量）而不是稀疏关键字查找来查找查询的邻居。在带有分片的 BM25/TF-IDF 方法中，您将获得来自不兼容的分片级集合的文档分数（除非您设置全局更新的IDF缓存）。
• 将几何相似性的概念作为语义中的一个组成部分，而不仅仅是原始对象的特定属性（在文本的情况下——它的关键字/术语）。
• 多模态：编码任何对象——音频、视频、图像、文本、基因组、软件病毒、一些复杂的对象（如代码），你有一个编码器和相似性度量——并在这些对象之间无缝搜索。

同时，关键字可以以互补的方式与相似度搜索相结合，尤其是当您面临长尾零命中问题（可能相当大，例如在电子商务领域）的情况下。

这篇博文总结了 7 个向量数据库之间的共性和差异，每个都提供商业云支持。7 人中有 5 人将他们的代码作为开源代码提供给您自己的主机。这篇文章不包括神经搜索框架（如Jina.AI、FAISS或 deepset 的Haystack），这些框架应该有自己的博客文章。此外，它并不专注于大型云供应商垂直搜索引擎，例如 Bing 或 Google 的向量搜索引擎。算法基准测试超出了范围，因为您始终可以求助于https://github.com/erikbern/ann-benchmarks查找有关单个算法性能和权衡的详细信息。

我冒昧地从以下五个角度考虑了每个搜索引擎：

1. 价值主张。让整个向量搜索引擎脱颖而出的独特之处是什么？
2. 类型。该引擎的通用类型：向量数据库、大数据平台。托管/自托管。
3. 架构。高级系统架构，包括分片、插件、可扩展性、硬件细节（如果可用）等方面。
4. 算法。这个搜索引擎采用了什么算法来进行相似度/向量搜索，它提供了哪些独特的功能？
5. 代码：它是开源的还是闭源的？

每个搜索引擎都附有元数据：