微软发布 OpenAI 端到端聊天参考架构基线

作者 | Robert Krzaczyński

译者 | 明知山

策划 | Tina

微软发布 OpenAI 端到端聊天参考架构基线。该基线包含了与组件、流程和安全性相关的信息，还提供了关于性能、监控和部署指南的详细信息。此外，微软还准备了用于部署和运行解决方案的参考实现。

OpenAI 端到端聊天架构基线利用类似于用于托管聊天 UI 的基线应用服务 Web 应用程序的组件。该架构优先考虑用于编排聊天流程、数据服务和访问大型语言模型（LLM）的组件。使用 Azure Machine Learning 来训练、部署和管理机器学习模型，使用 Azure Storage 来存储提示词流源文件，Azure Container Registry 用来管理容器镜像。此外，Azure OpenAI 提供对 LLM 和企业功能的访问。Azure AI Search 支持聊天应用程序中的搜索功能，实现了用于查询提取和检索的 RAG 模式。

OpenAI 端到端聊天架构基线（来源：微软博客）

OpenAI 端到端聊天架构基线优先考虑了网络安全以及基于身份的访问。关键点包括聊天 UI 流量的安全入口点、过滤的网络流量以及对传输中的数据使用 TLS 进行端到端加密。通过使用 Private Link 来最小化数据外流。网络资源在逻辑上进行了分段和隔离，保证了网络流程的健壮性。该架构包含将托来自 App Service 托管的聊天 UI 的调用路由到 Azure Machine Learning 的在线端点，然后将调用定向到运行部署流的服务器。对 Azure PaaS 服务的调用通过托管的私有端点进行路由，以提升安全性。

该架构将对 Azure Machine Learning 工作区的访问限制为私有端点，从而提高安全性。私有端点贯穿始终，允许托管在应用服务中的聊天 UI 安全连接到 PaaS 服务。

该架构在网络和身份层面均建立了安全措施。网络边界只允许通过互联网访问聊天 UI，而身份边界确保对请求进行身份验证和授权。对 Azure Machine Learning 工作空间的访问通过默认角色（如数据科学家和计算操作员）以及专门用于工作区密钥和注册表访问的角色来管理。

此外，微软还分享了一些关于部署的建议和策略。其中包括蓝 / 绿部署或 A/B 测试，可以改进发布和变更评估。

在监控方面，除了 Azure Machine Learning 和 Azure App Service 之外，所有服务都被设置为捕获所有的日志。Azure Machine Learning 诊断被配置为捕获审计日志，其中包括所有资源日志，其中包括记录客户与数据或服务设置交互的所有资源日志。对于 Azure App Service，日志记录设置包括了 AppServiceHTTPLogs、AppServiceConsoleLogs、AppServiceAppLogs 和 AppServicePlatformLogs。

Azure OpenAI 服务还提供了内容过滤来检测和防止有害内容，包括滥用监控来检测违规行为，尽管可以针对敏感数据或法律合规性请求豁免。

Balz Zuerrer在 LinkedIn 的帖子中问道是否可以在 Azure AI Studio 上构建此解决方案。Tobias Kluge 回答道：

根据我的理解，这个蓝图是针对整个应用程序的，包括敏感数据和用户相关数据的安全边界。AI Studio 可用于测试、体验模型和一些数据，但它并未说明如何在安全的生产环境中构建和部署整个应用程序。 这就是为什么这个蓝图对我们来说如此重要。

除了这个问题之外，帖子下面还出现了许多积极的评论。Rishi Nikhilesh 补充道：

令人惊奇的是，它建立在网络隔离的基础上，并在公共端点上禁用了 Azure ML 工作区。看着应用服务与部署的 ML 提示词流通信保持安全的通信是件很有趣的事情。

对于这种场景的部署，微软工程师准备了参考实现。

查看英文原文：

https://www.infoq.com/news/2024/02/chat-ref-arch-openai/

声明：本文由 InfoQ 翻译，未经许可禁止转载。