宣布推出 Search AI Lake 和 Elastic Cloud Serverless 以扩展低延迟搜索

作者：来自 Elastic Ken Exner

今天，我们很高兴地宣布 Search AI Lake 和 Elastic Cloud Serverless。 Search AI Lake 是一种针对实时应用程序进行优化的开创性云原生架构，它将扩展的存储容量与低延迟查询以及 Elasticsearch 强大的搜索和 AI 相关功能相结合。 该架构支持全新的 Elastic Cloud Serverless 产品，消除了所有运营开销，因此你可以快速开始并无缝扩展你的工作负载。

下一个搜索时代

十多年来，Elasticsearch 甚至为最复杂的数据提供了快速、可扩展的解决方案。 Elastic 客户之所以成功，是因为搜索旨在从数据中提供实时见解，而无需明确定义的架构或可定义的查询模式。 虽然 No-SQL 数据库或其他解决方案需要更结构良好的数据、模式或查询，但 Elastic 默认情况下可以快速搜索所有数据。 搜索速度推动了从快速威胁检测到运营效率和更高用户参与度的关键成果。 这使得搜索成为数据混乱且不断变化的情况以及用户不知道他们想要查询的确切属性但仍需要实时快速搜索数据中的任何内容的最佳解决方案。

这就是 Elasticsearch 如此广泛用于结构化和非结构化数据实时分析的原因，无论是日志分析、SIEM 还是广泛的搜索 AI 支持的应用程序。 这也是搜索被广泛应用于生成式人工智能体验的原因。 搜索对于大量数据的高效编码、检索和合成至关重要，以便使用大型语言和其他模型生成准确的、适合上下文的响应。 我们认识到，随着人工智能和实时工作负载在生产中扩展，需要一种架构能够在所有数据上提供低延迟查询性能，而不牺牲可扩展性、相关性或经济性。

我们已经看到数据湖（data lakes）的出现和演变，试图通过分离计算和存储来解决数据规模快速增长的问题。 但是，根据设计，这些架构针对存储而非性能进行了优化。 例如，对象存储本质上优先考虑可扩展性而不是速度，从而导致交互式查询出现不可接受的延迟。 这使得数据湖实际上无法用于需要低延迟查询和访问所有数据的实时应用程序，无论其大小和复杂性如何。

低延迟人工智能驱动的未来需要新的湖架构 (lake architecture)。

不妥协：Search AI Lake，一种用于实时、低延迟应用程序的新架构

今天，我们很高兴推出首个此类搜索 AI Lake。 它是一种云原生架构，针对实时、低延迟应用程序进行了优化，包括搜索、检索增强生成 (RAG)、可观察性和安全性。 它汇集了数据湖的扩展存储容量和 Elasticsearch 的低延迟查询、强大的搜索和 AI 相关功能。 此功能目前在技术预览版中可用。

Search AI Lake 创造了新的机会，可以以高效的存储成本快速交互式地按需搜索几乎无限量的数据。 对于搜索应用程序，这使得 RAG 可以经济高效地无缝利用大型数据集。 对于安全性而言，这意味着可以通过轻松访问大量安全数据来进行调查和威胁搜寻，从而提供更好的威胁保护。 安全团队可以通过立即、无限制地访问以前孤立的数据来增强异常检测，从而显着提升安全态势。 SRE 获得了更深入的解决方案洞察力 - 搜索有关应用程序性能的逐年数据，无需再水化（rehydrate，意即从 snapshot 里读取并挂载），并访问高分辨率数据集以进行预测分析、趋势分析和主动检测。 Search AI Lake 提供了许多独特的优势：

1. 无限规模、解耦计算和存储：存储和计算完全解耦，可使用本机云存储轻松实现可扩展性和可靠性，而我们的动态缓存支持高吞吐量、频繁更新和大数据量的交互式查询。 利用云原生对象存储可提供高数据持久性，同时平衡任何规模的存储成本。 这消除了跨多个服务器复制索引操作的需要，从而降低了索引成本并减少了数据重复。
2. 实时、低延迟：即使数据安全地保存在对象存储上，多项增强功能也能保持出色的查询性能。 这包括引入段级查询并行化，通过实现更快的数据检索并允许更快地处理更多请求来减少延迟。 通过更高效的缓存和优化 Lucene 索引格式的使用来实现更好的重用。
3. 独立扩展索引和查询：通过在低级别分离索引和搜索，平台可以独立、自动扩展，以满足广泛的工作负载需求。
4. GAI 优化：原生推理和想量搜索：使用 RAG 和专有数据为你的业务定制生成式 AI 体验。 利用强大的 AI 相关性、检索和重新排名功能的原生套件，包括完全集成到 Lucene 中的原生向量数据库、开放推理 API、语义搜索以及与一系列搜索功能无缝协作的第一方和第三方转换器模型。
5. 强大的查询和分析：内置了 Elasticsearch 强大的查询语言 ES|QL，可通过快速并发处理来转换、丰富和简化调查，无论数据源和结构如何。 还包括对准确高效的全文搜索和时间序列分析的全面支持，以识别地理空间分析中的模式。 数据索引利用 “schema on write - 写入模式” 来实现规模和速度，以及“schema on read - 读取模式”，从而提供灵活性和更快的价值实现时间。
6. 原生机器学习：直接在所有数据上构建、部署和优化机器学习，以实现卓越的预测。 对于安全分析师来说，这意味着预先构建的威胁检测规则甚至可以轻松地跨多年前的历史信息运行。 同样，运行无监督模型，对比其他 SIEM 平台跨度更长的时间段的数据进行近乎实时的异常检测。
7. 真正的分布式：跨区域、云或混合：从一个界面查询生成数据的区域或数据中心中的数据。 跨集群搜索 (CCS) 避免了集中或同步的要求。 这意味着在摄取后的几秒钟内，任何数据格式都会被标准化、索引和优化，以实现极快的查询和分析。 同时降低数据传输和存储成本。 完整的 CCS 将在不久的将来在 Search AI Lake 上提供。

Elastic Cloud Serverless 简介 — 立即启动并扩展

Elastic Cloud Serverless 基于 Search AI Lake 构建，提供无忧管理、快速入门和优化的产品体验，所有这些都是为了利用 Search AI Lake 令人印象深刻的速度和规模而量身定制的。 在技​​术预览版中，无服务器（serverless）项目得到了完全简化，以消除运营开销并自动处理扩展和管理。 从监控和备份到配置和规模调整，所有操作均由 Elastic 管理。 你无需考虑底层集群、节点、版本或扩展 — 只需携带你自己的数据并开始使用 Elastic 的任何解决方案。

无服务器补充了现有的云部署，提供了选择：使用无服务器实现更大的简单性，或使用现有的 Elastic Cloud 托管进行更大的控制。 目前，无服务器项目默认使用 AWS (us-east-1)，并在不久的将来支持更多云提供商和区域。 无服务器项目目前提供技术预览版。

无服务器项目采用新的特定于解决方案的定价模型。 简化的定价使你可以轻松了解和预测搜索、可观察性或安全性的支出。 积分在各个部署选项中是统一的，因此可以灵活地支付和使用 Elastic Cloud Hosted 或 Elastic Cloud Serverless 选项。

凭借新的产品体验和底层 Search AI Lake 架构，无服务器项目使入门变得更加容易。

• 即时配置：快速启动一个新的完全配置的无服务器项目。
• 基于项目：使用新的工作流程轻松创建针对每个用例的独特需求（从向量搜索和 APM 到端点安全等）进行优化的项目。
• 引导式入门：通过专门的步骤跳过学习曲线，指导你使用产品内资源和工具更快地获得结果。
• 无忧运营：将你的团队从运营责任中解放出来 - 无需管理后端基础设施、进行容量规划、升级或扩展数据。
• 无限扩展：无服务器允许你的工作负载通过自动响应和适应需求变化、最大限度地减少延迟并确保最快的响应时间来无缝扩展。

从头开始简化：简化的产品体验、套餐和定价

无服务器提供简化的产品体验以及搜索、可观察性和安全性的引导式入门，加快获得结果的时间并针对每个用例进行优化。 新的简化定价和套餐让你可以轻松管理支出并充分利用 Elastic 的所有优势。 这包括 Elasticsearch、Elastic Observability 和 Elastic Security 的各种新定价和包装。

Elasticsearch Serverless 使开发人员能够快速提供有影响力的 AI 搜索体验，而无需担心速度或规模。 快速启动用于一般搜索或向量搜索和时间序列的硬件优化项目即将推出。 通过简化的开发人员体验快速构建搜索应用程序，提供广泛的内联文档和代码示例来指导搜索项目。 管理更少，开发更多，无需配置或管理集群、分片、版本或扩展。 通过访问 Elastic 的最新 AI 功能（例如向量搜索、Elastic Learned Sparse EncodeR (ELSER)、语义搜索、机器学习 (ML) 以及 AI 模型集成和管理），加速生成式 AI 体验的开发。

通过 Search AI Lake 进行控制，以经济高效地平衡搜索性能和存储。 计算和存储以及索引和查询的分离使得可以快速可靠地独立扩展任何工作负载，而不会影响性能。 即使使用大量索引时间功能来获得更好的相关性也不会影响搜索性能。

定价和打包：Elasticsearch Serverless 引入了单一产品层，提供对所有搜索功能和构建块的访问，以编程方式开发搜索应用程序。 定价得到简化，并根据用于摄取、搜索和机器学习以及数据保留和数据输出（数据传出）的计算资源进行计量。 有关更多详细信息，请参阅 Elasticsearch Serverless 定价页面。

Elastic Observability Serverless 可提供无忧体验，具有全堆栈可观察性的所有优势，而无需管理堆栈或扩展动态工作负载的开销。 简化的工作流程和引导式入门最大限度地缩短了洞察时间，并使其可以轻松地在信号之间进行转换，而不会丢失关键的上下文。 此外，凭借超过 350 多个集成、托管接收服务和 OpenTelemetry 优先方法，将可观测性数据导入 Elastic 变得无比简单。

Search AI Lake 通过极快的查询和机器学习作业实现比以往更快的分析，即使对于 PB 级的数据，也可以在几分钟内提供见解。 凭借前所未有的速度和规模，你现在可以分析所有数据、业务和运营，主动检测问题、加速问题解决并交付业务成果。

定价和打包：Elastic Observability Serverless 引入了单一产品层，可提供对所有 Observability 功能的访问。 定价很简单：你为摄入和保留的内容付费。 其他选项包括按测试运行定价的综合监控浏览器测试和按每个区域的每个测试定价的轻量级测试。 有关更多详细信息，请参阅 Elastic Observability Serverless 定价页面。

Elastic Security Serverless 为安全分析师的安全分析和 SIEM 用例提供了新的云部署选项。 这种全新且完全托管的云产品提供了可快速投入使用的精心策划的安全解决方案。 使用此 Elastic Security 部署可以消除管理云和 SIEM 基础设施的开销，并允许安全团队专注于保护、调查和响应组织内的威胁。

安全分析师可以利用 Search AI Lake 无缝分析所有与安全相关的数据，包括几个月甚至几年前的历史数据，以便在几分钟内提供见解。 Search AI Lake 支持威胁搜寻、自动检测和 AI 驱动的安全分析功能，包括攻击发现和 AI 助手。

定价和打包：Elastic Security Serverless 提供两层精心挑选的功能，以实现常见的安全操作。

• Security Analytics Essentials 包括在大多数组织中运行传统 SIEM 所需的一切。
• Security Analytics Complete 添加了许多组织在现代化或替换旧 SIEM 时所需的高级安全分析和 AI 驱动功能。
• 可选附加组件：端点和云保护是可选的。 选择一个或两个选项可提供所有 Elastic Security Serverless 项目所包含的安全分析/SIEM 功能之外的额外保护功能。

Elastic Security 的无服务器定价很简单：你为摄取和保留的数据付费。 有关更多详细信息，请参阅 Elastic Security Serverless 定价页面。

探索搜索和人工智能的所有力量

低延迟应用程序的未来已经到来，且不会影响速度、规模或支出。 Elastic 邀请安全分析师、SRE 和开发人员体验无服务器和 Search AI Lake，以利用你的数据解锁新机会。 详细了解无服务器的可能性，或立即在技术预览版中开始免费试用。

本文中描述的任何特性或功能的发布和时间安排均由 Elastic 自行决定。 当前不可用的任何特性或功能可能无法按时交付或根本无法交付。

在这篇博文中，我们可能使用或引用了第三方生成人工智能工具，这些工具由其各自所有者拥有和运营。 Elastic 对第三方工具没有任何控制权，我们对其内容、操作或使用不承担任何责任，也不对你使用此类工具可能产生的任何损失或损害负责。 在使用人工智能工具处理个人、敏感或机密信息时请务必谨慎。 你提交的任何数据都可能用于人工智能培训或其他目的。 无法保证你提供的信息将得到安全或保密。 在使用之前，你应该熟悉任何生成式人工智能工具的隐私惯例和使用条款。

Elastic、Elasticsearch、ESRE、Elasticsearch Relevance Engine 和相关标志是 Elasticsearch N.V. 的商标、徽标或注册商标。 在美国和其他国家。 所有其他公司和产品名称均为其各自所有者的商标、徽标或注册商标。

原文：Announcing Search AI Lake and Elastic Cloud Serverless to scale low latency search | Elastic Blog