当前位置:   article > 正文

万亿赛道!向量数据库--AI 大模型技术底座解决方案深度分析 2024_pinecone向量数据库

pinecone向量数据库

向量数据库作为新型技术,发展时间较短,开源和上云是目前的主流趋势。在向量数据库领域早期的探索,主要是以Zilliz、Weaviate和Pinecone等初创型公司引领。

在AI大模型未被普遍应用之前,该产品的需求较少,因此,初创型公司开发的向量数据库产品多以开源的形式培育社区生态,以及上云的方式扩大用户覆盖面。

随着向量数据库在AI大模型中应用的重要性逐渐被挖掘,各厂商加大了该领域的研发。

以腾讯云、华为云和星环科技为代表的厂商在非结构化数据的向量检索工具已经具有一定技术积累的基础上,也于近期推出了向量数据库产品。

表 4:向量数据库开发公司和产品列表

(一)向量数据库技术快速迭代,商业化在探索和尝试阶段

Zilliz是向量数据库领域的先驱。Zilliz公司成立于2017年,是行业中较早探索和研发针对非结构化数据的向量搜索引擎及相关工具。其开发的Milvus向量数据库产品于2019年10月开源,为业内公司在该领域技术的探索提供了丰富技术资源。从Milvus1.0即提供了相似性度量、ANN索引等核心算法以及支持分布式架构,升级到Milvus2.0支持多云架构部署、简易的操作查询界面以及数据编辑历史查询,Zilliz为向量数据库行业贡献了较多的核心技术,并引领开源社区的发展。目前Milvus应用的领域包括计算机视觉、自然语言处理、音频搜索和化学分子式分析等。

图 25:Milvus向量数据库架构图

Zilliz的向量数据库产品主要基于公有云提供SaaS服务,按资源使用量来收费。用户可根据业务场景,预估数据量和节点规模,选择免费版(适用于新手用户开发单一项目)、标准版(适用于少于5人的小团队)和企业版(适用于规模以上的企业)的向量数据库产品。

免费版本的向量数据库主要是吸引更多用户尝试使用,为后续转化成为付费用户打好基础。标准版和企业版起步价分别为65美元/月、99美元/月,在使用时间范围内根据计算资源和存储资源的使用量来收费。目前Zilliz的向量数据库主要通过亚马逊AWS、谷歌云等公有云厂商来提供SaaS服务。此外,Zilliz根据客户定制化需求也提供虚拟私有云部署的SaaS服务供客户灵活选择。

表 5:Zilliz 向量数据库收费标准

注:CU 是 Compute Unit 的缩写,代表部署服务的物理节点

Weaviate积极拥抱开源、上云等主流技术趋势。Weaviate成立于2019年,早期主要的技术开发专注于向量化的能力,即将各类不同的数据转化成为向量数据。后续,Wearviate的向量数据库在多租户协同、检索效率等方面提升。

Weaviate向量数据库产品也是采用开源的形式。2022年9月,用户下载量达到150万次的情况下,推出了Weaviate Cloud Services,通过公有云的形式向用户提供向量数据库的能力。2023年10月,Weaviate 1.22版本发布,物件式存储、异步向量检索等功能有一定提升。

图 26:Weaviate向量数据库产品功能示意图

在这里插入图片描述

Weaviate的向量数据库产品根据Embedding数量和资源使用量来收费。Weaviate的向量数据库的收费方式分为两种:基于Weaviate Cloud的SaaS服务;基于第三方公有云平台(谷歌云、亚马逊AWS和微软Azure)的SaaS服务。

基于Weaviate Cloud的SaaS服务分为标准版、企业版、商务专业版,起步价分别为25美元/月、135美元/月、450美元/月;在此模式下,用户根据存储在平台上的Embedding的数量来付费。Embedding的数量是有向量的维度和数据对象的数量共同决定。而在基于第三方公有云平台的SaaS收费模式中,用户根据计算资源(CPU数量)和存储资源(存储空间大小)的使用量来付费。

表 6:Weaviate 向量数据库收费模式

Pinecone首创的混合搜索和存储功能,提升向量数据库性能效果显著。

Pinecone在原始数据编码为向量数据的阶段采用多种编码方式,不同编码方式的向量数据在大模型的检索过程中有快慢之分。混合搜索引擎可以筛选出检索速度最快的向量嵌入方式作为结果反馈。而混合存储则是将原本在内存中存储的向量索引部分转移在磁盘上进行存储。2021年9月,Pinecone通过引入混合搜索和存储功能后,将向量检索的成本减少了10倍。我们认为Pinecone公司对于数据在AI大模型全周期中的流程优化方面较一般公司研究更为深入,已经有较深的技术积累,其开发的向量数据库发展前景向好。

图 27:Pinecone 向量数据库产品架构图

Pinecone在公有云环境中提供容器化的SaaS服务,按照容器的数量和容量收费。

在公有云环境下,容器是融合了CPU、内存和硬盘等资源的基础单元,是实现云端资源弹性伸缩的关键。Pinecone在主流公有云平台(亚马逊AWS、谷歌云、微软Azure)上提供的向量数据库产品的收费价格根据容器类型、数量、容量以及云服务器平台决定。

目前,Pinecone推出免费版(单一容器)、标准版和企业版的向量数据库产品。标准版和企业版的起步价分别为0.096美元/小时和0.144美元/小时。此外,Pinecone根据客户定制化需求也提供虚拟私有云部署的SaaS服务供客户灵活选择。

表 7:Pinecone向量数据库收费模式(以标准版为例)

星环科技的向量数据库产品满足AI大模型对于检索实时性、精准性和跨模态的需求。

2023年5月,星环科技发布向量数据库产品Transwarp Hippo。与开源的向量数据库不同,Hippo具备高可用、高性能、易拓展等特点,支持多种向量搜索索引、数据分区分片、数据持久化、增量数据摄取、向量标量字段过滤混合查询等功能,有效地解决了AI大模型的知识时效性低、输入能力有限、准确度低等问题,让大模型更高效率地存储和读取知识库,降低训练和推理成本。我们预计,星环科技的向量数据库产品Hippo,作为AI大模型的基础软件工具,在各领域智能化的升级中是必备的软件基础设施。星环科技的Hippo向量数据库具备的优势如下:

  • 高性能检索:Hippo支持多进程架构与GPU加速,可以充分发挥并行检索能力;同时支持多类索引,满足不同业务场景;支持检索速度和内存使用的特定优化,支持寄存器级算法优化。

    ‍‍

  • 多模型联合分析:基于多模型统一技术架构,向量数据与关系型数据、图数据、时序数据等多种模型数据进行统一存储管理,通过统一接口实现数据跨模型联合分析。

    ‍‍

  • 接口多样化:提供类SQL语法支持;提供标准的Python、Restful、Java API。

  • 分布式部署:具备分布式部署能力,满足大规模集群部署需求;通过Raft算法确保数据的强一致性;同时提供故障迁移,数据修复等数据保障能力。

‍‍

  • 云原生系统:Hippo采用全面容器化部署,支持服务的弹性扩缩容;同时具备多租户和强大的资源管控能力。

  • 企业级安全:Hippo 可提供基于SASL的用户认证能力,以及基于SSL/TLS的数据加密传输。

图 28:星环科技分布式向量数据库Transwarp Hippo产品架构图

星环科技的向量数据库产品快速迭代,针对不同场景,已推出多个版本。自2023年5月星环推出向量数据库Hippo 1.0以来,星环科技持续投入,根据不同应用场景推出了三个版本的产品:社区版、存储密集版和高性能版。其中社区版Hippo仅需单台服务器即可安装部署,百万级向量数据量推荐配置仅需4核8G。

面向存储需求较大的场景,存储密集版Hippo可支持单台服务器2000万条向量的存储;面向计算要求较高的场景,高性能版Hippo可支持单台服务器1000 QPS(Queries-per-second)的数据反馈。我们认为,星环科技的向量数据库Hippo的应用覆盖面广泛,下沉到具体应用场景推出的标准化产品更加符合行业客户需求,未来发展前景看好。

表 8:星环科技Transwarp Hippo 向量数据库版本

星环科技的向量数据库产品按照软件授权的模式收费。根据《关于星环信息科技(上海)股份有限公司向特定对象发行股票申请文件的审核问询函的回复》中的信息,向量数据库产品均价预测为15万元/套。我们认为,基于公有云的SaaS收费模式在中美之间存在一定差异,Hippo采用的软件授权一次性收费的模式更加符合我国较大比例的国企、央企以及金融机构的付费习惯。此外,由于Hippo是分布式的部署方式,下游客户或因数据量的增加而产生持续扩容的需求。因此,向量数据库产品的销售数量有望随着用户数据量的增长而增长。

表 9:星环科技数据分析大模型建设项目相关产品定价

在这里插入图片描述

腾讯云基于多年积累的向量引擎技术,推出了向量数据库VectorDB。2023年7月,腾讯云发布自研向量数据库产品Tencent Cloud VectorDB。VectorDB是源自腾讯内部的赋能工具OLAMA向量引擎,在其基础上对于AI运算、检索方面进行升级而来。

腾讯云向量数据库不仅能为大模型提供外部知识库,提高大模型回答的准确性,还可广泛应用于推荐系统、计算机视觉、智能客服等AI领域。腾讯云向量数据库具备的产品优势如下:

(1)高性能:自2023年7月份正式发布以来,VectorDB经过多次迭代升级,在优化版的IVF索引支持下,VectorDB单索引支持数据规模从2023年7月份的10亿级向量规模提升至2023年11月份的1000亿级向量规模。可支持百万级QPS及毫秒级查询延迟,让相同的内存可以存储5-10倍的数据。

(2)高可用:向量数据库提供多副本高可用特性,其多可用区和三节点的架构可用性可达99.99%,显著提高系统的可靠性和容错性,确保数据库在面临节点故障和负载变化等挑战时仍能正常运行。

(3)低成本:只需在管理控制台按照指引,简单操作几个步骤,即可快速创建向量数据库实例,全流程平台托管,无需进行任何安装、部署和运维操作,有效减少机器成本、运维成本和人力成本开销。

(4)简单易用:支持丰富的向量检索能力。用户通过HTTP API或者SDK接口即可快速操作数据库,开发效率高。同时控制台提供了完善的数据管理和监控能力,操作简单便捷。

(5)稳定可靠:向量数据库源自腾讯内部自研的向量检索引擎OLAMA,近40个业务线上稳定运行,日均处理的搜索请求高达千亿次,服务连续性、稳定性有保障。

(6)Embedding功能:向量数据库的Embedding功能会自动将原始文本进行转换,生成对应的向量数据并插入数据库或进行相似性检索,实现了文本到向量数据的一体化转换,减少了用户的操作步骤,降低了使用门槛。

图 29:腾讯云向量数据库每秒查询数(QPS)与行业平均对比

图 30:腾讯云向量数据库单QPS成本(元/月)与行业平均对比

VectorDB不仅对内赋能腾讯日常业务,还正式上线腾讯云。截止2023年11月,腾讯的向量数据库VectorDB已经累积服务了腾讯内部40多个业务,日请求量达1600亿次。其支撑QQ音乐人均听歌时长提升3.2%,QQ浏览器成本降低37.9%,腾讯视频有效曝光人均时长提升1.74%。此外,VectorDB对外服务了包括博世、销售易、搜狐、好未来、链家等在内的超过1000家外部客户。

VectorDB于2023年10月26日正式进行全面公测,为用户提供三个版本的产品:免费测试版、单机版和高可用版。其中,免费测试版仅供快速测试使用;单机版适用于对高可用性和容错性要求不高的场景,如个人、小型企业或测试/开发环境;高可用版适合需要保证系统高可用性和容错性的大型企业或关键业务场景。

表 10:腾讯云向量数据库提供实例类型

腾讯云向量数据库已被多家企业使用。截止到2023年11月中旬,腾讯云向量数据库VectorDB已对外服务超过1000家客户,包括博世、销售易、搜狐、好未来、链家等。

在CRM领域,存储了客户和企业各类信息的VectorDB可以准确高效的回答销售团队的各类问题,从而推动商机进展和获取客户;在电商领域,VectorDB应用于提升推荐、搜索、广告业务的推荐效果;在出行领域,VectorDB有效提升自动驾驶模型训练的效率;在教育领域,VectorDB可以快速、准确地检索与问题相关的题目及解析。

腾讯结合公有云的技术和渠道优势,实现了VectorDB的快速推广,为后续商业化收费打好了坚实的客户基础。另一方面,VectorDB在短期内实现用户数量的快速增长,也反映了企业级客户对于向量数据库的需求是普遍存在于各行业中的。

图 31:腾讯云向量数据VectorDB在智能客服领域应用示意图

腾讯云向量数据库VectorDB目前面向公众免费测试,暂未定价。公测用户免费领用实例,免费测试版实例每个账号仅限申领1个,高可用版与单机版实例免费试用时长1个月。我们认为,免费版本的VectorDB主要是吸引大量用户尝试使用,为后续转化成为付费用户打好基础。VectorDB依据存储节点CPU 与内存资源分配比例不同,分为存储型和计算型两类。

(1)存储型:主要用于存储和管理大规模的向量数据,其主要优势在于:提供低查询延迟,能够高效地存储和管理向量数据,特别适用于数据量大、数据增长快、查询QPS 相对较低的场景,例如:人脸识别、图像搜索等。

(2)计算型:主要用于快速查找和检索向量数据,支持高并发的查询请求,其主要优势在于:提供更高的查询QPS和更低的查询延迟,适用于流量大、延迟敏感的场景,例如:实时推荐、广告投放等。

腾讯云向量数据库基于CPU计算能力、内存大小及其存储能力,将节点规格划分为不同层级。节点类型不同,对应的产品规格有差异。参考海内外竞品的收费模式,我们判断,VectorDB的收费标准或与其产品性能以及消耗的计算和存储资源相关。

表 11:腾讯云向量数据库提供节点规格

华为云GaussDB Vector向量数据库产品已对接盘古大模型。2023年9月,华为在全连接大会上发布了GaussDB Vector向量数据库产品。GaussDB向量数据库具备千亿级大规模向量数据快速查询更新的能力,内置自研的ANN索引算法可以使得查询时延小于10ms。

GaussDB向量数据库不仅可以用于多模态搜索、推荐、人脸识别、智能问答等,还与盘古大模型对接,为其提供缓存能力。目前,GaussDB向量数据库已上线华为云,用户根据CPU核数、内存大小和存储容量等资源选择按月或按年付费。我们认为,华为云在数据库领域技术积累深厚,包括盘古大模型在内的全套生态支撑能力为GaussDB Vector产品竞争力及后续的商业化拓展提供了保障。

表 12:华为云GaussDB Vector向量数据库产品规格

向量数据库目前仍处于行业发展早期阶段。在技术方面,Zilliz和Weaviate将技术开源一方面推动了整体行业的进步,另一方面也缩小了行业内公司的技术差距。因此,早期开始技术探索的公司并未形成明显的技术壁垒和先发优势。

在商业化方面,向量数据库行业还处于市场培育期,Zilliz、Pinecone和腾讯云VectorDB均推出免费版本的产品给用户试用,而基于公有云的SaaS服务和星环科技的社区版Hippo都尝试通过软件的轻量化及部署的便捷化来推广向量数据库产品。

我们认为,向量数据库在AI大模型训练和推理过程中的实际效果得到用户充分认识后,产品拓展过程有望加速,各行业用户付费意愿有望提升。未来,向量数据库商业化的节奏取决于各行业客户使用AI大模型的实际需求以及其在AI大模型技术中应用的实际效果。

(二)数据库厂商与云计算公司竞合关系的差异与变化

中美公有云商业模式的接受程度有差异。美国SaaS公司起步早,市场培育时间较长,其软件上云率较高。自2000年初,Salesforce首创SaaS服务模式后,美国通过立法的方式保障用户隐私,防止信息泄露,为公有云服务提供了比较好的外部环境,经过二十多年的市场培育,企业用户对SaaS服务接受度较高。

而国内的国企、央企以及金融机构的业务普遍涉及敏感数据,对数据安全具有较高要求,考虑数据安全的权重高于由于公有云部署带来的成本节省,选择上云的中小企业持续付费能力有限。这造成了我国应用级软件公有云上云率较低,SaaS服务渗透率较低。根据Latka的数据,2022年,美国SaaS公司数量为1.7万个,中国SaaS公司数量为702个。

图 32:2020和2025年全球主要国家SaaS市场规模

图 33:2022年全球主要国家SaaS公司数量

软件上云环境的差异导致中美开发向量数据库的公司类别有所差异。海外的云计算厂商专注于IaaS层算力资源利用的提升和优化,在其基础上的SaaS服务,采取部分自研,部分开放给第三方应用软件公司。因此,在海外开发向量数据库产品的公司以独立第三方(Pinecone、Weaviate和Zilliz)为主,而亚马逊AWS、微软Azure和谷歌云等海外的公有云平台积极引入其开发的向量数据库产品。

而国内在SaaS付费模式接受度不高的环境下,以腾讯云和华为云为代表的云计算厂商更愿意选择开发标准化的向量数据库产品,对外开拓市场。因此,在国内云计算公司与独立第三方数据库公司相互竞争大于合作互补。接下来,我们分别分析独立第三方和云计算公司对于向量数据库产品的定位、商业化优劣势以及竞合关系的变化。

表 13:在云计算平台上提供SaaS服务的向量数据库产品

  1. 独立第三方公司的向量数据库产品化和商业化能力是竞争的关键

国内独立第三方公司的向量数据库产品或定位于以线下应用场景为主。一方面,在国内云计算公司与独立第三方数据库公司竞争大于合作,另一方面,在金融、医疗等领域智能化升级的过程中,向量数据库存在较大的线下部署的需求。

从评估借贷风险到提供个性化的投资建议,金融领域存在较多的智能化需求,但相关数据涉及较多用户的隐私信息,如身份信息、资产信息和交易数据等。这类场景的智能化需求较难采用基于公有云的向量数据库服务,而更有可能采用线下部署的方式。

因此,无论从竞争格局角度还是从下游需求角度,我们判断,相较于互联网场景,独立第三方公司的向量数据库产品在金融、医疗等线下部署的场景中更易推广。

图 34:工商银行企业级人工智能中台体系总体架构

对于行业数据和需求理解深刻独立第三方公司在向量数据库商业拓展时更具优势。不同行业数据结构和组织方式不同,这导致向量数据库在数据导入、转换和向量化阶段的算法应根据不同行业属性而调整优化。

其次,行业客户对于AI大模型生成内容的要求和需求不尽相同,向量检索算法在训练和推理阶段在不同行业也有一定优化提升的空间。

从这一角度来看,对行业数据特点理解深刻且对用户需求具有洞察力的公司开发的向量数据库在部分行业具有一定优势,典型如星环科技在金融行业深耕多年所具备的优势。

向量数据库处于产品化和商业化的早期阶段,配合标准化产品的技术服务是关键。向量数据库发展时间较短,相应功能难以广泛满足各行业需求,在商业化落地过程中难免会遇到无法满足客户定制化需求的情况。在这种情形下,配合标准化产品的技术服务的及时性和专业性将是向量数据库公司新客拓展、老客留存的关键。

我们认为,具有成规模且专业性强的技术支持团队的公司在向量数据库商业化落地过程中更具优势。相较于初创型的公司,星环科技已拥有410人的技术支持团队(截至2022年12月底),对于新产品的市场推广、商业化策略制定以及客户沟通方面已经具有丰富经验,基于此,我们看好星环科技向量数据库产品Hippo未来的商业化前景。

图 35:2020-2022年星环科技员工数量

轻量化和免费版本的向量数据库产品对于市场需求培育有正向推动。现阶段,向量数据库还处于市场培育期,下游用户对于产品的功能与应用有一定认知差距,因此部分向量数据库公司提供的免费版或轻量化的产品有利于激发下游用户需求。

在公有云的环境下,包括Zilliz、Pincone在内的向量数据库公司提供免费版的向量数据库服务,可有效吸引用户使用,为后续转化成为付费用户打好基础。而星环科技在9月份推出的向量数据库社区版,仅需单台服务器即可安装部署,百万级向量数据量推荐配置仅需4核8G。

我们认为,免费版和轻量化产品的推广一方面有利于推动向量数据库在各行业快速渗透,但另一方面也需注意产品天然特性确定的应用边界,即向量数据库主要面向有智能化需求的企业级用户和开发者,而非普通的终端消费者。

独立第三方将向量数据库技术开源或降低产品开发门槛,产品化和商业化是下一阶段竞争的关键。包括Zilliz和Weaviate等早期开始技术探索的公司由于团队规模较小,技术发展路线不明确,采用了打造开源社区的方式推动产品迭代。

开源社区不仅可以集合互联网商更为广泛的开发者加快产品迭代,还可以借鉴用户和开发者的反馈意见从而使得产品更加符合客户的实际需求。但另一方面,技术开源也使得该领域的后来者可以快速学习和追赶。

因此,早期开始技术探索的公司并未形成明显的技术壁垒和先发优势。

我们认为,向量数据库领域后续竞争的关键在于产品化和商业化能力,针对各场景需求特点,结合AI大模型的能力开发出满足行业用户需求的向量数据库产品,以及根据实际产业趋势制定合理的收费模式将是下一阶段各厂商竞争的关键。

  1. 云计算公司的向量数据库产品应与公有云方向发展一致,未来存在与独立第三方合作的可能性

云计算公司开发的向量数据库源自内部业务需要。互联网场景中存在大量非结构化数据的检索需求。腾讯的向量数据库产品VectorDB源自OLAMA向量引擎。该引擎此前已经广泛应用于腾讯内部业务所需的图像、视频等非结构化数据的检索任务。

今年以来,亚马逊AWS RDS PostgreSQL和阿里云的PostgreSQL 14、15版本新增支持pgvector插件,微软宣布CosmosDB支持向量搜索功能,MongoDB推出了Atlas Vector Search向量检索工具,华为也发布了向量数据库产品GaussDB Vector。

云计算公司认识到向量搜索功能对于其内部存在的大量非结构数据具有较强的处理能力后,或在既有数据库产品上新增向量搜索插件,或开发向量数据库产品。

图 36:向量引擎工具OLAMA对腾讯视频赋能示意图

云计算公司拥有的AI大模型以及海量非结构化数据为其向量数据库产品打磨和应用提供了较好的环境。腾讯云向量数据库VectorDB已经累积服务了腾讯内部40多个业务,在应用于QQ音乐、腾讯视频等业务时也提升和打磨了海量非结构数据的处理能力;华为云GaussDB向量数据库已外接盘古大模型,为其提供缓存能力。

我们认为,云计算公司开发的向量数据库在满足其自研的AI大模型业务和海量数据检索的需求的同时,也提升了产品性能,实践了具体场景中的应用效果,为其对外提供服务打好了基础。

图 37:华为云GaussDB向量数据库架构图

云计算公司开发的向量数据库产品定位应保持和公有云平台整体发展方向一致。向量数据库是云计算公司众多SaaS服务中的产品之一,其首先是定位于基于公有云提供的服务(VectorDB在腾讯云以及GausDB Vector在华为云上提供服务)。

因此,其产品在公有云接受度较高的行业和场景中的商业拓展具有一定优势。但是在金融、医疗、国央企等对于数据敏感程度较高的下游领域拓展时,其产品或需要进行私有云或本地部署的改造。而在面对付费能力有限的中小客户或碎片化需求时,云计算公司往往需要衡量投入的人力成本与客户采用公有云的可能性而做决策。

我们认为,云计算公司向量数据库产品商业拓展方向一方面取决于各公司对该产品的定位,另一方面也需考虑和公有云平台整体发展的方向保持一致。中长期来看,云计算公司和数据库厂商也存在合作的可能性。

从海外的经验来看,向量数据库普遍搭载于云平台上提供SaaS服务。随着云计算公司业务覆盖面的拓宽以及产品线的延长,其在各个技术应用领域的需要寻求合作伙伴共同拓展业务。

例如,腾讯打造的云市场生态,旨在各领域寻找与自身能力合作互补的厂商共同促进商业化落地。我们认为,若第三方向量数据库公司的产品具有足够的竞争力,可以实现对相关软硬件基础设施的连带销售效果,云计算公司与其实现资源互补、产业合作的可能性将大大增加。

图 38:腾讯云市场服务生态图

国内第三方向量数据库公司已入驻云平台。开源向量数据库公司Zilliz与阿里云达成合作,其产品Zilliz Cloud正式上线阿里云的云市场对外提供服务。

用户可直接阿里云官网上开通和使用Zilliz Cloud服务。我们认为,随着国内第三方数据库公司产品影响力的持续扩大,其下游客户规模快速增长,其上云后给云计算厂商带来的客户导流效果有望增强。海外云计算厂商与第三方数据库公司结合优势资源,实现合作共赢的模式有望在国内展开。

图 39:基于阿里云使用Zilliz向量数据库服务的流程示意图

向量数据库整体处于新兴市场起步阶段,产品的快速渗透对同行竞争者影响有限。在线下的应用场景中,以腾讯云为代表的云计算厂商和以星环科技为代表的独立第三方公司在向量数据库领域存在一定的竞争关系。

但是,我们认为,向量数据库整体处于新兴市场起步阶段,行业参与者往往能够凭借具有竞争力的产品实现从0到1,再到一定市场份额的发展,能够享受更多下游快速渗透带来的机会,而同行竞争带来的压力相对较小。

下一阶段,向量数据库的产品化和商业化是各厂商成长的关键。未来,针对各场景需求特点,结合AI大模型的能力开发出满足行业用户需求的向量数据库产品,以及根据实际产业趋势制定合理的收费模式将是各厂商在低渗透率的环境下获客的关键。

三、风险点‍‍

(一)商业化落地受下游应用拉动,兑现尚需时间

各垂直领域智能化升级的节奏受到通用AI大模型产品成熟的影响而有延后的可能性,向量数据库随垂直应用类AI渗透而被B端用户大规模采购的时间点存在不确定性

(二)科技巨头在向量数据库领域的布局可能导致行业竞争加剧

大型科技公司具有较强的资金实力和技术优势,未来在向量数据库领域的产品迭代、商业化拓展或对独立第三方向量数据库公司形成一定竞争压力。

(三)技术开源导致中小企业入局向量数据库领域

技术开源降低了科技公司开发向量数据库的门槛,科技厂商利用开源的向量搜索引擎或组件研发的产品存在由于同质化程度较高而竞争加剧的风险。

如何学习大模型 AI ?

由于新岗位的生产效率,要优于被取代岗位的生产效率,所以实际上整个社会的生产效率是提升的。

但是具体到个人,只能说是:

“最先掌握AI的人,将会比较晚掌握AI的人有竞争优势”。

这句话,放在计算机、互联网、移动互联网的开局时期,都是一样的道理。

我在一线互联网企业工作十余年里,指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家,也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑,所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限,很多互联网行业朋友无法获得正确的资料得到学习提升,故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述

第一阶段(10天):初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识,对大模型 AI 的理解超过 95% 的人,可以在相关讨论时发表高级、不跟风、又接地气的见解,别人只会和 AI 聊天,而你能调教 AI,并能用代码将大模型和业务衔接。

  • 大模型 AI 能干什么?
  • 大模型是怎样获得「智能」的?
  • 用好 AI 的核心心法
  • 大模型应用业务架构
  • 大模型应用技术架构
  • 代码示例:向 GPT-3.5 灌入新知识
  • 提示工程的意义和核心思想
  • Prompt 典型构成
  • 指令调优方法论
  • 思维链和思维树
  • Prompt 攻击和防范

第二阶段(30天):高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习,学会构造私有知识库,扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架,抓住最新的技术进展,适合 Python 和 JavaScript 程序员。

  • 为什么要做 RAG
  • 搭建一个简单的 ChatPDF
  • 检索的基础概念
  • 什么是向量表示(Embeddings)
  • 向量数据库与向量检索
  • 基于向量检索的 RAG
  • 搭建 RAG 系统的扩展知识
  • 混合检索与 RAG-Fusion 简介
  • 向量模型本地部署

第三阶段(30天):模型训练

恭喜你,如果学到这里,你基本可以找到一份大模型 AI相关的工作,自己也能训练 GPT 了!通过微调,训练自己的垂直大模型,能独立训练开源多模态大模型,掌握更多技术方案。

到此为止,大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗?

  • 为什么要做 RAG
  • 什么是模型
  • 什么是模型训练
  • 求解器 & 损失函数简介
  • 小实验2:手写一个简单的神经网络并训练它
  • 什么是训练/预训练/微调/轻量化微调
  • Transformer结构简介
  • 轻量化微调
  • 实验数据集的构建

第四阶段(20天):商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知,可以在云端和本地等多种环境下部署大模型,找到适合自己的项目/创业方向,做一名被 AI 武装的产品经理。

  • 硬件选型
  • 带你了解全球大模型
  • 使用国产大模型服务
  • 搭建 OpenAI 代理
  • 热身:基于阿里云 PAI 部署 Stable Diffusion
  • 在本地计算机运行大模型
  • 大模型的私有化部署
  • 基于 vLLM 部署大模型
  • 案例:如何优雅地在阿里云私有部署开源大模型
  • 部署一套开源 LLM 项目
  • 内容安全
  • 互联网信息服务算法备案

学习是一个过程,只要学习就会有挑战。天道酬勤,你越努力,就会成为越优秀的自己。

如果你能在15天内完成所有的任务,那你堪称天才。然而,如果你能完成 60-70% 的内容,你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费

在这里插入图片描述

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/知新_RL/article/detail/893416
推荐阅读
相关标签
  

闽ICP备14008679号