破题异构算力调度，中电金信助力AI大模型高效推理

7月25日至27日，以“算力网：新质生产力背景下的分布式系统”为主题的第二届CCF分布式计算大会暨中国算力网大会（CCF Computility 2025）在兰州召开。本次大会吸引了来自学术界与产业界的1200余位专家学者、行业代表齐聚一堂，共探分布式计算与算力网络的前沿技术与发展前景。

大会期间，中电金信研究院容器云技术实验室主任王磊就“异构资源调度与流量治理在大模型推理中的应用”进行了成果分享。在AI大模型加速落地的背景下，高效管理异构算力资源并实现高效推理已成为产业关注的核心议题。王磊认为，随着人工智能进入大模型时代，智能算力需求呈现爆发式增长，算力产业规模随之飞速扩张。然而，算力资源高度异构化、调度复杂性激增、模型分布式推理成本高以及AI流量治理难度大等挑战，正制约着算力效能的释放，难以满足低延迟在线服务、高吞吐批处理等场景化需求。因此，构建高效、智能的异构资源管理与调度能力，已成为推动产业升级的关键。

为应对这些挑战，中电金信致力于通过融合异构算力资源接入、管理、调度与编排，向上为 AI 负载提供软件服务能力，提高AI应用的研发效率，降低技术门槛，帮助用户实现从底层算力到上层业务的闭环价值输出。具体举措包括：通过统一纳管异构算力设备，实现资源池化与硬件拓扑感知，显著提升资源利用效率；在调度层面，通过构建支持分散/紧凑调度、拓扑感知调度和资源超分等智能策略的平台，有效保障AI工作负载的高效分配，并优化了在线推理与离线训练混合部署场景下的资源调度效率；针对大模型推理，通过优化多卡并行策略显著提升推理服务的质量及吞吐量，并基于监控指标实现动态弹性扩缩容，进一步提高了服务稳定性和响应效率。此外，面向LLM推理场景，中电金信提供的AI网关具备访问权限控制、流量路由与负载均衡、模型服务灰度发布等关键功能。

通过异构资源智能调度、大模型推理加速与AI流量治理，中电金信构建了高效的AI算力基础设施，为行业人工智能平台、知识图谱平台等上层应用提供了高可靠、低延迟的算力保障。依托“源启”，公司还打造了“平台+模型+应用+服务”的完整AI产品及能力体系，可实现从底层算力到上层应用的贯通融合。如今，算力已超越单纯的技术指标，成为智能时代的关键生产力，凭借扎实的技术积累，中电金信正积极携手行业伙伴，为构建高效、可靠、可扩展的中国算力网络体系提供关键技术支撑，全面赋能企业数智化转型。