什么样的数据库才能训练出强大的生成式AI？来看看MongoDB的解决方案吧！_mongodb大模型训练
赞
踩
人工智能正以前所未有的速度发展，而生成式 AI (GenAI) 处于这场变革的前沿。GenAI 拥有广泛的功能，涵盖文本生成以及音乐和艺术创作。但是，GenAI 的真正独特之处在于它能够深入理解上下文，生成的输出与人类输出极为相似。它不仅仅是与智能聊天机器人对话。GenAI 拥有改变行业的潜力，可提供更丰富的用户体验并解锁新的可能性。
在接下来的数月和数年内，我们将见证那些利用 GenAI 蕴藏的强大能力的应用程序崭露头角，这些应用程序可以提供前所未有的各种功能。与现在广受欢迎的聊天机器人（如 ChatGPT）不同，用户不一定会发现 GenAI 正在后台工作。但在后台，这些新应用程序将结合使用信息检索和文本生成，以实时提供真正个性化且与上下文有关的用户体验。此过程被称为检索增强生成，或简称 RAG。
那么，检索增强生成 (RAG) 是如何运作的，以及数据库在此过程中发挥着什么作用？下面我们将更深入地探讨 GenAI 领域及其数据库要求。
请查看我们的 AI 资源页面，来详细了解如何使用 MongoDB 构建采用 AI 技术的应用程序。
训练 AI 基础模型 所面临的挑战
GenAI 面临的主要挑战之一是无法访问私有或专有数据。AI 基础模型（大型语言模型 (LLM) 是其子集）通常针对公开可用的数据进行训练，但无法访问机密或专有信息。即使这些数据位于公共域中，也有可能已经过时且不太相关。LLM 在识别最近的事件或很新的知识方面也存在局限性。而且，如果没有适当的指导，LLM 可能会生成错误的信息，这在大多数情况下均不可接受。
数据库在应对这些挑战方面发挥着重要作用。应用程序可以使用数据库来检索相关数据并将其作为上下文包含在提示中，而不是直接向 LLM 发送提示。例如，银行应用程序可以从传统数据库中查询用户的交易数据，将该数据添加到提示中，然后将这一经过设计的提示发送至 LLM。此方法可确保 LLM 生成准确的最新回复，消除了数据丢失、过时以及不准确的问题。
针对 GenAI 应用程序选择数据库时
需考虑的 4 个因素
当所有人都可以访问相同的工具和知识库时，企业想要利用 GenAI 实现真正的竞争优势就没那么容易了。相反，实现差异化的关键来自于在由基础模型和 LLM 提供支持的生成式 AI 的基础之上，对您自己的独特专有数据进行分层。在选择数据库以充分发挥由 GenAI 提供支持的应用程序的潜力时，组织应重点考虑四个主要因素：
1.可查询性：数据库需要能够支持丰富的表达式查询和二级索引，以提供实时、上下文感知的用户体验。无论查询的复杂性或数据库中存储的数据大小如何，此功能均可确保在数毫秒内完成数据检索。
2.灵活的数据模型：GenAI 应用程序通常需要不同类型和格式的数据，称为多模式数据。为了适应这些不断变化的数据集，数据库应具有灵活的数据模型，支持轻松载入新数据，而无需更改模式、修改代码或发布版本。对于关系数据库而言，使用多模式数据可能具有挑战性，因为关系数据库是设计用于按照严格的模式规则来处理结构化数据，其中的信息会被整理到包含行和列的表中。
3.集成向量搜索：GenAI 应用程序可能需要针对不同类型的数据（如自由形式文本、音频或图像）执行语义查询或相似性查询。向量数据库中的向量嵌入支持语义查询或相似性查询。向量嵌入会捕获数据的语义含义和上下文信息，使其适合用于处理各种任务，如文本分类、机器翻译和情感分析。数据库应提供集成的向量搜索索引，让两个单独的系统保持同步变得简单，并确保开发者使用统一的查询语言。
4.可扩展性：由于 GenAI 应用程序的用户群和数据规模在增长，数据库必须能够动态地横向扩展，以支持不断增长的数据量和请求率。对横向扩展分片提供原生支持可确保数据库存在的限制不会阻碍业务增长。
理想的数据库解决方案：
MongoDB Atlas
MongoDB Atlas 是一个功能强大的多用途平台，用于处理 GenAI 的独特需求。MongoDB 使用的强大查询 API 可轻松处理多模式数据，让开发者能够用更少的代码交付更多功能。MongoDB 被开发者评为最受欢迎的文档型数据库。对开发者而言，使用文档既简单又直观，因为文档会映射到面向对象的编程中的对象，与关系数据库中数不尽的行和表相比，开发者更熟悉前者。灵活的模式设计考虑到了数据模型的不断发展以满足 GenAI 用例的需求，这些用例本身就是多模式。通过使用分片，Atlas 可以横向扩展以支持由 GenAI 提供支持的应用程序所导致的数据量和请求量的大幅增长。
MongoDB Atlas Vector Search 能够以原生方式嵌入向量搜索索引，因此无需维护两个不同的系统。Atlas 会不断地使用源数据确保 Vector Search 索引为最新状态。开发者可以使用单个端点和查询语言来构建将常规数据库查询过滤器与向量搜索过滤器结合使用的查询。这样可以消除摩擦，为开发者提供了快速制作原型并交付 GenAI 解决方案的环境。
结语
GenAI 已准备好重塑行业，并为各个行业提供创新的解决方案。借助合适的数据库解决方案，GenAI 应用程序可以蓬勃发展，提供准确、上下文感知和动态的数据驱动型用户体验，来满足当今快节奏的数字环境日益增长的需求。使用 MongoDB Atlas，组织可以在敏捷性、生产力和业务增长方面释放潜能，在快速发展的生成式 AI 领域提供竞争优势。
要了解有关 Atlas 如何帮助组织集成并处理 GenAI 和 LLM 数据的更多信息，请下载我们的白皮书《借助 MongoDB 将生成式 AI 和高级搜索嵌入到您的应用程序中》。
