Discord 使用单台服务器服务于 100 万在线 MidJourney 用户

深度学习与Python

发布于 2024-02-17 14:51:41

1090

发布于 2024-02-17 14:51:41

文章被收录于专栏：深度学习与python深度学习与python

作者 | Rafal Gancarz

译者 | 张卫滨

策划 | 丁晓昀

Discord 对其平台进行了优化，以便于在单台服务器上为超过 100 万在线用户提供服务，同时保持反应灵敏的用户体验。在系统可观测性和性能调优的支持下，该公司对负责发送数十亿条消息通知的 guild 组件进行了一系列的性能和可扩展性增强。

Discord 平台的关键元素是使用 Elixir 实现的，这是一门运行在 Erlang VM) 之上的函数式语言。基于 Elixir 的组件负责路由和向用户发送消息通知。Guild 服务器是管理 Discord 社区各种业务流的中心枢纽。Guild 进程会与很多会话进程进行交互，而这些会话进程使用 WebSocket 连接将消息投递到用户设备上的客户端应用程序中。架构的另外一个关键要素是 API 服务，它是使用 Python 编写的，负责将消息持久化保存到 ScyllaDB 中。

通过 Discord 平台的消息流（图片来源：Discord 工程博客）

鉴于之前的设计选择和平台限制，Discord 团队必须确保 Guild 进程能够继续处理不断增加的在线用户数量，例如，Midjourney 社区的在线用户数量就超过了一百万。Discord 的软件工程师 Yuliy Pisetsky 讨论了与服务器性能相关的用户体验考虑因素：

除了整体吞吐量方面的考虑因素之外，服务器越大，某些操作的速度就越慢。确保几乎所有的操作都能快速进行，这对服务器的响应速度至关重要：当发送一条消息时，其他人应该能立即看到；当有人加入一个语音频道时，他们应该能立即参与进来。如果处理某个昂贵的操作需要好几秒钟的时间，这会损害用户体验。

工程师们花了大量时间来理解系统性能。他们插装了 Guild 进程的事件处理循环，以捕获消息处理时间的关键指标。团队利用进程堆栈跟踪进行分析，寻找导致消息处理延迟的原因。他们还创建了一个辅助库，用于估算大型对象的内存使用情况，以便于帮助优化内存的使用。有了可观测性数据，他们实施了多项优化措施，大大缩短了某些消息类型的处理时间。

团队通过减少 Guild 进程的工作量取得了一些重要成果。他们禁用了被动会话的通知，在被动会话中，用户不会与他们所属的某些社区进行互动。仅这一项改变就使扇出（fanout）工作的成本降低了 90%，从而为不断增长的用户数量提供了急需的空间。

开发人员引入了一层新的中继进程，帮助在 Guild 进程和会话进程之间更高效地传递信息。中继进程接管了部分业务流的处理工作，从而释放了 Guild 进程来处理更多的用户。