Rust 研学 ｜ 从 OpenAI 招聘透视 Rust 在大模型中的应用潜力
Rust 研学 ｜ 从 OpenAI 招聘透视 Rust 在大模型中的应用潜力
“OpenAI 虽然名称里有 Open ，但实际非常神秘。我们只能通过一些外围信息来透视这家顶尖 AI 公司的技术栈信息。
本文大纲
- OpenAI Rust 招聘简介
- Rust 在 OpenAI 中解决什么问题
- 延伸阅读：分布式训练框架 Ray
- 扩展学习：分布式训练概要
- 两点简单思考
- 使用 Rust 开源向量数据库
- 分布式训练机器学习框架
- 小结
OpenAI Rust 招聘简介
最近看到了 OpenAI 分布式软件工程师岗位招聘[1] ，发现它们采用的是 Rust + Python 语言技术栈。
以下是该招聘岗位的关键摘要：
“作为一名分布式系统/数据工程师，您将致力于提供强大的API，用于协调数千台计算机移动/持久化大量数据。这需要提供易于使用、可自省的系统，以促进快速的调试/开发周期，同时还要确保该体验能够在我们最新的超级计算机上扩展，并保持稳定性和性能。 我们正在寻找热衷于优化端到端系统、理解高性能I/O以最大化本地性能和分布在我们的超级计算机上的人。我们希望找到对快速响应我们训练系统架构的动态和不断发展的需求感到兴奋的人。 这个职位位于加利福尼亚州旧金山。我们采用每周3天在办公室工作的混合工作模式，并为新员工提供搬迁补助。 这个职位角色中，你将：
- 在我们的 Python 和 Rust 语言技术栈上工作
- 优化和帮助设计以扩展我们的计算和数据能力的配置文件
- 快速将我们的训练框架部署到最新的超级计算机上，以迅速响应机器学习系统的不断变化的形态和需求。
如果你具备以下特点，你可能会在这个职位有更广阔的上升空间：
- 曾在大型分布式系统上工作过
- 喜欢弄清楚系统的工作原理，并不断提出加快系统速度、减少复杂性和维护负担的想法
- 具有强大的软件工程技能，熟练掌握 Python 和 Rust
其他薪酬福利就不在这里重复了，毕竟不是中国公司，也不招远程。我只能说，福利是真的好，这个职位也提供股份。
本文的重点是，尝试通过这个工作岗位信息透视 OpenAI 中 Rust 的应用场景，以及进一步窥探 Rust 在大模型中的发展趋势。毕竟 OpenAI 是大模型中的顶流，他们的技术栈采用肯定是深思熟虑的。
Rust 在 OpenAI 中解决什么问题
使用 Rust 开源向量数据库
在两个月前，也有人从 OpenAI 平台的错误信息中发现，OpenAI 正在使用开源 Rust 向量数据库 Qdrant[2] 。
“在马斯克的 XAI 公司也使用了这个 Rust 实现的向量数据库 Qdrant 。 XAI 的工程师选择 Rust 理由和大多数人一样：“Rust 已被证明是构建可扩展、可靠和易于维护的基础设施的理想选择。它具有高性能、丰富的生态系统，并且可以防止在分布式系统中通常会遇到的大多数错误。考虑到我们团队规模较小，基础设施的可靠性至关重要，否则维护工作将抑制创新。Rust 让我们有信心，任何代码修改或重构都有可能产生能够在数月内以最少的监督运行的工作程序”。
分布式训练机器学习框架
实践证明，Rust 是构建现代分布式系统的首选。
从 OpenAI 这个职位信息看得出来，该职位在 OpenAI 中扮演着重要的角色，专注于利用 Rust 构建高性能的分布式系统以支持其机器学习训练系统。候选人需要具备强大的技术能力，特别是在 Rust 和 Python 编程、分布式系统设计和性能优化方面。