三言科技消息 在DeepSeek连续五天推出开源代码库后,今天又推出one more thing:V3/R1 推理系统概述。
详情如下:
#OpenSourceWeek第 6 天:还有一件事 – DeepSeek-V3/R1 推理系统概述
通过以下方式优化吞吐量和延迟:
跨节点 EP 驱动的批量扩展
计算与通信重叠
负载平衡
DeepSeek 在线服务统计:
每个 H800 节点每秒有 73.7k/14.8k 个输入/输出令牌
成本利润率 545%
我们希望本周的见解能够为社区带来价值,并为我们共同的 AGI 目标做出贡献。
领取专属 10元无门槛券
私享最新 技术干货