OpenAI 端到端聊天参考架构

ChatGPT狂飙160天，世界已经不是之前的样子。

新建了人工智能中文站https://ai.weoknow.com
每天给大家更新可用的国内可用chatGPT资源

---

Microsoft 发布了基准 OpenAI 端到端聊天参考架构。该基准包含有关组件、流程和安全性的信息。还提供了有关性能、监控和部署指南的详细信息。此外，Microsoft 准备了参考实现以部署和运行解决方案。

基准端到端聊天架构与 OpenAI 结合使用了类似于基准 App Service Web 应用程序中用于托管聊天 UI 的组件。该架构优先考虑用于编排聊天流程、数据服务和访问大型语言模型（LLM）的组件。Azure 机器学习用于训练、部署和管理机器学习模型。Azure 存储用于存储提示流源文件，而 Azure 容器注册表管理用于部署的容器映像。此外，Azure OpenAI 提供对 LLM 和企业功能的访问。Azure AI Search 支持聊天应用程序中的搜索功能，实现了用于查询提取和检索的 RAG 模式。

基准端到端聊天架构与 OpenAI 优先考虑网络安全以及基于身份的访问。关键方面包括为聊天 UI 流量提供安全入口点、过滤网络流量以及使用 TLS 进行数据传输的端到端加密。通过使用 Private Link，最小化了数据外泄风险。网络资源被逻辑分割和隔离，确保强大的网络流动。该架构涉及通过私有端点将托管在 App Service 中的聊天 UI 的路由调用传递到 Azure 机器学习在线端点，然后将调用指向运行部署流程的服务器。对 Azure PaaS 服务的调用通过托管私有端点进行路由，以增强安全性。

该架构将对 Azure 机器学习工作区的访问限制在私有端点范围内，确保增强安全性。私有端点贯穿始终，允许托管在 App Service 中的聊天 UI 安全连接到 PaaS 服务。

该架构在网络和身份层面都建立了安全措施。网络边界仅允许通过互联网的 App Gateway 访问聊天 UI，而身份边界确保对请求进行身份验证和授权。对 Azure 机器学习工作区的访问是通过默认角色（如数据科学家和计算操作员）管理的，同时还有专门用于工作区秘密和注册表访问的角色。

此外，Microsoft 分享了一些与部署相关的建议和策略。其中包括蓝/绿部署或 A/B 测试，可改善发布和变更评估。

在监控方面，除了 Azure 机器学习和 Azure App Service 外，所有服务均设置为捕获所有日志。Azure 机器学习诊断专门配置为捕获审计日志，其中包括所有资源日志，记录客户与数据或服务设置的交互。对于 Azure App Service，日志记录设置包括 AppServiceHTTPLogs、AppServiceConsoleLogs、AppServiceAppLogs 和 AppServicePlatformLogs。

Azure OpenAI 服务还提供内容过滤功能，以检测和阻止有害内容。这包括滥用监控以检测违规行为，尽管可以针对敏感数据或法律合规性请求豁免。
观点：

Microsoft 发布的基准 OpenAI 端到端聊天参考架构，对该架构的组件、流程、安全性以及性能、监控、部署等方面进行了全面的解析。

首先，该架构与 OpenAI 结合使用，类似于基准 App Service Web 应用程序，提供了用于托管聊天 UI 的组件。架构优先考虑了编排聊天流程、数据服务以及访问大型语言模型的需求，并利用了 Azure 机器学习和 Azure 存储等服务来支持训练、部署和管理机器学习模型，以及存储提示流源文件。

在网络安全和基于身份的访问方面，该架构采取了多项措施，包括提供安全入口点、过滤网络流量、端到端加密等措施，以最小化数据外泄风险。通过使用 Private Link，成功地实现了数据外泄风险的最小化，并对网络资源进行了逻辑分割和隔离，确保网络流动的强大。

此外，文章还提到了一些与部署相关的建议和策略，如蓝/绿部署或 A/B 测试，以及监控方面的设置，包括捕获所有日志等。

总体而言，该架构在网络和身份层面都建立了严密的安全措施，并提供了一系列与部署和监控相关的建议，为开发人员和企业提供了可靠的端到端聊天解决方案。

---

ChatGPT狂飙160天，世界已经不是之前的样子。

新建了人工智能中文站https://ai.weoknow.com
每天给大家更新可用的国内可用chatGPT资源