创新S3存储桶检索：Langchain社区S3加载器搭载OpenAI API

在瞬息万变的数据存储和处理领域，将高效的云存储解决方案与先进的 AI 功能相结合，为处理大量数据提供了一种变革性的方法。本文演示了使用 MinIO、Langchain 和 OpenAI 的 GPT-3.5 模型的实际实现，重点总结了存储在 MinIO 存储桶中的文档。

MinIO的强大功能

MinIO 是开源的高性能对象存储，与 Amazon S3 API 完全兼容。MinIO 以其可扩展性而闻名，非常适合存储非结构化数据，例如照片、视频、日志文件、备份和容器映像。这不仅仅是关于存储;MinIO 还提供数据复制、生命周期管理和高可用性等功能，使其成为现代云原生应用程序的首选。

集成 Langchain 和 OpenAI

Langchain 是一种基于 Python 的工具，可促进文档加载器和 AI 模型之间的交互。在我们的用例中，我们将 Langchain 与 OpenAI 的 gpt-3.5-turbo-1106 模型相结合，以汇总来自 MinIO 存储桶的文档。这种设置举例说明了人工智能如何从大量数据中提取基本信息，从而简化数据分析和解释。有关本文相关的更多信息和支持材料，例如笔记本和加载的文档，请访问 langchain-s3-minio 目录下的 MinIO Github 存储库。

安装 Langchain

在深入研究实施之前，请确保您已安装 Langchain。通过 pip 安装它：

pip install --upgrade langchain
1

这将封装我们将用于 S3 加载器和 OpenAI 模型的所有必需库。

第 1 步：Langchain S3 目录和文件加载程序

最初，我们专注于使用 Langchain 的 S3DirectoryLoader 和 S3FileLoader .这些加载程序负责从 MinIO 存储桶中的指定目录和文件中获取多个和单个文档。

MinIO 配置和 Langchain S3 文件加载器

from langchain_community.document_loaders.s3_file import S3FileLoader

# MinIO Configuration for the public testing server
endpoint = 'play.min.io:9000'
access_key = 'minioadmin'
secret_key = 'minioadmin'
use_ssl = True

# Initialize and load a single document
file_loader = S3FileLoader(
    bucket='web-documentation',
    key='MinIO_Quickstart.md',
    endpoint_url=f'http{"s" if use_ssl else ""}://{endpoint}',
    aws_access_key_id=access_key,
    aws_secret_access_key=secret_key,
    use_ssl=use_ssl
)

document = file_loader.load()
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19

Python Langchain 示例 - S3 文件加载程序

Langchain S3 目录加载程序：

from langchain_community.document_loaders.s3_directory import S3DirectoryLoader

# Initialize and load documents
directory_loader = S3DirectoryLoader(
    bucket='web-documentation',
    prefix='',
    endpoint_url=f'http{"s" if use_ssl else ""}://{endpoint}',
    aws_access_key_id=access_key, 
    aws_secret_access_key=secret_key, 
    use_ssl=use_ssl
)

documents = directory_loader.load()

1
2
3
4
5
6
7
8
9
10
11
12
13
14

Python Langchain 示例 - S3 目录加载程序

第 2 步：使用 OpenAI 进行总结

加载文档后，我们使用 OpenAI 的 GPT-3.5 模型（包含在 ChatOpenAI Langchain 库中通过 ）来生成摘要。此步骤说明了模型理解和压缩内容的能力，从而提供从大型文档中快速获得见解的能力。

要访问 OpenAI API，您可以通过访问 OpenAI 平台获取 API 密钥。获得密钥后，将其集成到下面的代码中，以利用 GPT-3.5 的强大功能进行文档摘要。

文档摘要代码示例：

from langchain_openai import ChatOpenAI
from langchain_core.output_parsers import StrOutputParser
from langchain_core.prompts import ChatPromptTemplate
from langchain_core.runnables import RunnableLambda
import os

# Set your OpenAI API key
os.environ['OPENAI_API_KEY'] = 'your-openai-api-key'
model = ChatOpenAI(temperature=0, model="gpt-3.5-turbo-1106")

prompt = ChatPromptTemplate.from_template(
    "Summarize the following document '{document_name}':{context}Please provide the summary and key points."
)

loaded_documents = [documents, document]  # From S3 Loaders
flattened_documents = [doc for sublist in loaded_documents for doc in sublist] 

for loaded_document in flattened_documents:
    document_text = loaded_document.page_content
    document_name = getattr(loaded_document, 'name', 'Unknown Document')  # Assuming each document has a 'name' attribute
    chain = (
        RunnableLambda(lambda x: {"context": document_text, "document_name": document_name})
        | prompt
        | model
        | StrOutputParser()
    )
    summary = chain.invoke(None)
    print("Summary:", summary)

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29

Python Langchain 示例 - 使用 OpenAI API 总结文档

以下是运行此演示的输出，是将 LangChain 与 OpenAI 的 GPT-3.5 和 MinIO S3 存储集成的结果;出于演示目的，输出已缩短：

Summary: The document is a quickstart guide for MinIO, a high-performance object storage system that is compatible with Amazon S3. It explains how to run MinIO on bare metal hardware or in containers. For Kubernetes environments, it recommends using the MinIO Kubernetes Operator. The key points are:

- MinIO is a high-performance object storage system.
- It is released under the GNU Affero General Public License v3.0.
- MinIO is API compatible with Amazon S3.
- It can be used to build high-performance infrastructure for machine learning, analytics, and application data workloads.
- The guide provides quickstart instructions for running MinIO on bare metal hardware or in containers.
- For Kubernetes environments, the MinIO Kubernetes Operator is recommended.

1
2
3
4
5
6
7
8
9

来自 OpenAI API 的响应

这种方法突出了一种有趣的方式，即使用 Langchain 框架将文档从 S3 存储加载到其中LLM进行处理，而 OpenAI 的 GPT-3.5 模型会生成从 play.min.io 服务器获取的简明摘要和关键点 MinIO_Quickstart.md 。使用 AI 来分析和压缩大量文档，使用户能够快速、全面地了解安装、服务器配置、SDK 和其他 MinIO 功能等基本方面。它展示了人工智能从综合数据源中提取和呈现关键信息的能力。

使用 Langchain 从 MinIO 存储桶加载文档

MinIO、Langchain 和 OpenAI 的集成为管理大量数据提供了引人注目的工具集。虽然 Langchain 的 S3 加载器 S3DirectoryLoader 和 S3FileLoader 在从 MinIO 存储桶检索文档方面发挥着重要作用，但它们仅用于将数据加载到 Langchain 中。这些加载程序不会执行与将数据上传到存储桶相关的操作。对于上传、修改或管理存储桶策略等任务，MinIO Python SDK 是合适的工具。此 SDK 提供了一套用于与 MinIO 存储交互的综合功能，包括文件上传、存储桶管理等。有关更多信息，请参阅快速入门指南 — 适用于 Linux 的 MinIO 对象存储、Python 客户端 API 参考 — 适用于 Linux 的 MinIO 对象存储。

虽然 Langchain 简化了使用 AI 模型获取和处理数据的过程，但 MinIO 存储桶中数据管理的繁重工作取决于 MinIO Python SDK。这是一个重要的区别，开发人员和数据工程师必须了解这一点，以构建高效的 AI 集成存储解决方案。要全面了解 MinIO 的功能以及如何利用其 Python SDK 进行各种存储操作，请参阅 MinIO 的官方文档。

通过使用 MinIO 对象存储作为 AI 和 ML 流程的主要数据存储库，您可以简化数据管理管道。MinIO 是存储、管理和检索大型数据集的一站式解决方案，这对于有效的 AI 和 ML 操作至关重要。这种简化的方法降低了复杂性和开销，通过确保快速访问数据，有可能加速获得见解。

祝您在开发过程中好运！我们希望 MinIO 继续在您的 AI/ML 之旅中发挥关键作用。请通过电话和邮件与我们联系，分享你的见解和发现！