万亿赛道！向量数据库--AI 大模型技术底座解决方案深度分析 2024_大模型向量库

文末有福利！
‍

向量数据库作为新型技术，发展时间较短，开源和上云是目前的主流趋势。在向量数据库领域早期的探索，主要是以Zilliz、Weaviate和Pinecone等初创型公司引领。

在AI大模型未被普遍应用之前，该产品的需求较少，因此，初创型公司开发的向量数据库产品多以开源的形式培育社区生态，以及上云的方式扩大用户覆盖面。

随着向量数据库在AI大模型中应用的重要性逐渐被挖掘，各厂商加大了该领域的研发。

以腾讯云、华为云和星环科技为代表的厂商在非结构化数据的向量检索工具已经具有一定技术积累的基础上，也于近期推出了向量数据库产品。

表 4：向量数据库开发公司和产品列表

（一）向量数据库技术快速迭代，商业化在探索和尝试阶段

Zilliz是向量数据库领域的先驱。Zilliz公司成立于2017年，是行业中较早探索和研发针对非结构化数据的向量搜索引擎及相关工具。其开发的Milvus向量数据库产品于2019年10月开源，为业内公司在该领域技术的探索提供了丰富技术资源。从Milvus1.0即提供了相似性度量、ANN索引等核心算法以及支持分布式架构，升级到Milvus2.0支持多云架构部署、简易的操作查询界面以及数据编辑历史查询，Zilliz为向量数据库行业贡献了较多的核心技术，并引领开源社区的发展。目前Milvus应用的领域包括计算机视觉、自然语言处理、音频搜索和化学分子式分析等。

图 25：Milvus向量数据库架构图

Zilliz的向量数据库产品主要基于公有云提供SaaS服务，按资源使用量来收费。用户可根据业务场景，预估数据量和节点规模，选择免费版（适用于新手用户开发单一项目）、标准版（适用于少于5人的小团队）和企业版（适用于规模以上的企业）的向量数据库产品。

免费版本的向量数据库主要是吸引更多用户尝试使用，为后续转化成为付费用户打好基础。标准版和企业版起步价分别为65美元/月、99美元/月，在使用时间范围内根据计算资源和存储资源的使用量来收费。目前Zilliz的向量数据库主要通过亚马逊AWS、谷歌云等公有云厂商来提供SaaS服务。此外，Zilliz根据客户定制化需求也提供虚拟私有云部署的SaaS服务供客户灵活选择。

表 5：Zilliz 向量数据库收费标准

注：CU 是 Compute Unit 的缩写，代表部署服务的物理节点

Weaviate积极拥抱开源、上云等主流技术趋势。Weaviate成立于2019年，早期主要的技术开发专注于向量化的能力，即将各类不同的数据转化成为向量数据。后续，Wearviate的向量数据库在多租户协同、检索效率等方面提升。

Weaviate向量数据库产品也是采用开源的形式。2022年9月，用户下载量达到150万次的情况下，推出了Weaviate Cloud Services，通过公有云的形式向用户提供向量数据库的能力。2023年10月，Weaviate 1.22版本发布，物件式存储、异步向量检索等功能有一定提升。

图 26：Weaviate向量数据库产品功能示意图

Weaviate的向量数据库产品根据Embedding数量和资源使用量来收费。Weaviate的向量数据库的收费方式分为两种：基于Weaviate Cloud的SaaS服务；基于第三方公有云平台（谷歌云、亚马逊AWS和微软Azure）的SaaS服务。

基于Weaviate Cloud的SaaS服务分为标准版、企业版、商务专业版，起步价分别为25美元/月、135美元/月、450美元/月；在此模式下，用户根据存储在平台上的Embedding的数量来付费。Embedding的数量是有向量的维度和数据对象的数量共同决定。而在基于第三方公有云平台的SaaS收费模式中，用户根据计算资源（CPU数量）和存储资源（存储空间大小）的使用量来付费。

表 6：Weaviate 向量数据库收费模式

Pinecone首创的混合搜索和存储功能，提升向量数据库性能效果显著。

Pinecone在原始数据编码为向量数据的阶段采用多种编码方式，不同编码方式的向量数据在大模型的检索过程中有快慢之分。混合搜索引擎可以筛选出检索速度最快的向量嵌入方式作为结果反馈。而混合存储则是将原本在内存中存储的向量索引部分转移在磁盘上进行存储。2021年9月，Pinecone通过引入混合搜索和存储功能后，将向量检索的成本减少了10倍。我们认为Pinecone公司对于数据在AI大模型全周期中的流程优化方面较一般公司研究更为深入，已经有较深的技术积累，其开发的向量数据库发展前景向好。

图 27：Pinecone 向量数据库产品架构图

Pinecone在公有云环境中提供容器化的SaaS服务，按照容器的数量和容量收费。

在公有云环境下，容器是融合了CPU、内存和硬盘等资源的基础单元，是实现云端资源弹性伸缩的关键。Pinecone在主流公有云平台（亚马逊AWS、谷歌云、微软Azure）上提供的向量数据库产品的收费价格根据容器类型、数量、容量以及云服务器平台决定。

目前，Pinecone推出免费版（单一容器）、标准版和企业版的向量数据库产品。标准版和企业版的起步价分别为0.096美元/小时和0.144美元/小时。此外，Pinecone根据客户定制化需求也提供虚拟私有云部署的SaaS服务供客户灵活选择。

表 7：Pinecone向量数据库收费模式（以标准版为例）

星环科技的向量数据库产品满足AI大模型对于检索实时性、精准性和跨模态的需求。

2023年5月，星环科技发布向量数据库产品Transwarp Hippo。与开源的向量数据库不同，Hippo具备高可用、高性能、易拓展等特点，支持多种向量搜索索引、数据分区分片、数据持久化、增量数据摄取、向量标量字段过滤混合查询等功能，有效地解决了AI大模型的知识时效性低、输入能力有限、准确度低等问题，让大模型更高效率地存储和读取知识库，降低训练和推理成本。我们预计，星环科技的向量数据库产品Hippo，作为AI大模型的基础软件工具，在各领域智能化的升级中是必备的软件基础设施。星环科技的Hippo向量数据库具备的优势如下：

• 高性能检索：Hippo支持多进程架构与GPU加速，可以充分发挥并行检索能力；同时支持多类索引，满足不同业务场景;支持检索速度和内存使用的特定优化，支持寄存器级算法优化。

  ‍‍

• 多模型联合分析：基于多模型统一技术架构，向量数据与关系型数据、图数据、时序数据等多种模型数据进行统一存储管理，通过统一接口实现数据跨模型联合分析。

  ‍‍

• 接口多样化：提供类SQL语法支持；提供标准的Python、Restful、Java API。

  ‍

• 分布式部署：具备分布式部署能力，满足大规模集群部署需求；通过Raft算法确保数据的强一致性；同时提供故障迁移，数据修复等数据保障能力。

‍‍

• 云原生系统：Hippo采用全面容器化部署，支持服务的弹性扩缩容；同时具备多租户和强大的资源管控能力。

  ‍

• 企业级安全：Hippo 可提供基于SASL的用户认证能力，以及基于SSL/TLS的数据加密传输。

图 28：星环科技分布式向量数据库Transwarp Hippo产品架构图

星环科技的向量数据库产品快速迭代，针对不同场景，已推出多个版本。自2023年5月星环推出向量数据库Hippo 1.0以来，星环科技持续投入，根据不同应用场景推出了三个版本的产品：社区版、存储密集版和高性能版。其中社区版Hippo仅需单台服务器即可安装部署，百万级向量数据量推荐配置仅需4核8G。

面向存储需求较大的场景，存储密集版Hippo可支持单台服务器2000万条向量的存储；面向计算要求较高的场景，高性能版Hippo可支持单台服务器1000 QPS（Queries-per-second）的数据反馈。我们认为，星环科技的向量数据库Hippo的应用覆盖面广泛，下沉到具体应用场景推出的标准化产品更加符合行业客户需求，未来发展前景看好。

表 8：星环科技Transwarp Hippo 向量数据库版本

星环科技的向量数据库产品按照软件授权的模式收费。根据《关于星环信息科技（上海）股份有限公司向特定对象发行股票申请文件的审核问询函的回复》中的信息，向量数据库产品均价预测为15万元/套。我们认为，基于公有云的SaaS收费模式在中美之间存在一定差异，Hippo采用的软件授权一次性收费的模式更加符合我国较大比例的国企、央企以及金融机构的付费习惯。此外，由于Hippo是分布式的部署方式，下游客户或因数据量的增加而产生持续扩容的需求。因此，向量数据库产品的销售数量有望随着用户数据量的增长而增长。

表 9：星环科技数据分析大模型建设项目相关产品定价

腾讯云基于多年积累的向量引擎技术，推出了向量数据库VectorDB。2023年7月，腾讯云发布自研向量数据库产品Tencent Cloud VectorDB。VectorDB是源自腾讯内部的赋能工具OLAMA向量引擎，在其基础上对于AI运算、检索方面进行升级而来。

如何系统的去学习大模型LLM？

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

作为一名热心肠的互联网老兵，我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。

但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

所有资料 ⚡️ ，朋友们如果有需要全套 《LLM大模型入门+进阶学习资源包》，扫码获取~ ， 【保证100%免费】

篇幅有限，部分资料如下：

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/繁依Fanyi0/article/detail/937666