海光DCU驱动金融大模型实战：基于全栈兼容与性能跃升的算力解法

第一章 洞察金融AI深化痛点

1. 行业战略困境：从“被渠道化”到“深化应用”

金融行业的AI实践已跨越单纯的“被渠道化”（人脸识别、指纹识别）和“自主创新”（RPA、VR虚拟现实）阶段，正式进入“深化应用”期（P3）。企业当前面临的核心矛盾在于：业务需求对AI Agent（智能体）、生成式AI（AIGC）的需求爆发，与算力基础设施的落地能力不匹配。

2. 核心冲突：“标称算力”与“实际可用”的断层

在金融大模型落地的第三阶段，客户普遍存在认知误区，即过度关注芯片的“标称算力”，而忽视了隐藏在冰山之下的隐性成本与瓶颈（P4）：

• 生态兼容痛点： 忽略软件生态，导致迁移成本高昂。
• 落地经验缺失： 缺乏大规模并发（1000+并发）的实际支撑能力。
• 运维复杂性： 缺乏对应用场景选择、数据要素条件及TCO（总拥有成本）的控制能力。
• 持续性风险： 缺乏量产能力与技术演进的可持续性支持。

第二章 构建全栈兼容生态

针对上述痛点，中科海光（Hygon）提出了以DCU（深度计算单元）为核心，配套全栈软件栈的解决方案，旨在通过“零成本迁移”解决兼容性难题。

1. 软件栈全面升级：100% API覆盖

海光推出了DTK（Development Tool Kit），实现了对CUDA生态的深度兼容（P5）：

• 接口零转换： 实现Pytorch等原生接口无需转换，直接支持异构加速卡驱动。
• 核心组件兼容： CUDA核心组件（runtime, driver API, cublas, cufft等）的功能覆盖率达到100%。
• 工具链完备： 提供HIPCC编译器、可视化调试器及性能调优器，支持CentOS、Ubuntu、Kylin、UOS等国产操作系统。

2. 算法生态零门槛：DAS全栈优化

海光DAS（Deep AI Stack）平台消除了用户学习新技术的成本（P6）：

• 主流框架支持： 完美适配PyTorch (v2.4.1/2.5.1)、TensorFlow、PaddlePaddle等主流AI框架。
• 大模型组件适配： 支持Megatron-LM、DeepSpeed、FlashAttention (v2.6.1)、vLLM等核心大模型组件，确保全球生态随时试错，无需重复学习新技术栈。

第三章 量化业务性能指标

基于海光DCU的实际应用测试，方案在不同金融业务场景下展现了显著的性能收益与具体的量化指标。

1. 关键性能提升数据

• 综合性能跃升： 在特定大模型业务场景下，实现5X 性能提升（P10）。
• 代码助手场景： 运行Codewise-7B模型时，获得10X 性能提升（P11）。
• 原子能力增强： 在ADP原子能力测试中，性能提升幅度达44.65%（P11）。

2. 业务场景量化指标（P10）

针对不同类型的金融业务，海光明确了核心关注指标（KPIs）：

• 在线通用对话类（如智能客服）：
  • 部署模型：7B/8B/14B
  • 首字延迟（TTFT）：<3~5秒
  • 吞吐量：15~20 tokens/并发
• 企业RAG在线问答类（如法务合规）：
  • 部署模型：32B/70B
  • 首字延迟（TTFT）：<5~8秒
  • 重点指标：高并发处理能力
• 高度复杂场景（如编程自动化、反洗钱）：
  • 部署模型：235B/671B (int4)
  • 输入输出：超长输入（16k+），长输出（4~10k）
  • 重点指标：系统吞吐量（非实时性要求，强调离线异步处理）

第四章 落地千卡集群案例

1. 腾讯云合作认证案例（P11）

• 合作背景： 海光信息与腾讯云计算（北京）有限责任公司（Tencent Cloud）深度合作。
• 认证内容： 海光DCU深算处理器与腾讯Tencent CodeBuddy（腾讯云AI代码助手）及ADP原子能力完成产品兼容性互认证。
• 应用效果： 验证了海光DCU在代码编写、改写、Embedding、Reranker及OCR等场景下的高可用性与高性能稳定性。

2. 千卡集群物理部署实战（P9）

• 规模： 部署132个机柜（42U标准），单机柜供电10KW。
• 架构： 采用BW1000服务器，每个机柜包含8个计算节点。
• 网络： 配备IB交换机（3个机柜）与Spine/Leaf网络架构，支持8*200G计算网络互联，确保存储与计算的高速通信。

第五章 夯实研发与市场壁垒

1. 市场领先地位

海光信息在国产算力领域已确立了头部地位（P8）：

• 市场份额： 国产服务器市场占比TOP 2，是信创AI市场的主力军。
• 营收增长： 营业收入年均增长率超过50%，2024年营收规模达91.62亿。

2. 技术研发护城河

坚持高强度的自主研发投入，确保产品的持续迭代能力：

• 研发投入： 年均研发投入增长率超20%，2024年投入达34.46亿。
• 人才密度： 研发人员占比高达90.18%，其中硕士及以上学历占比77.61%，拥有2500+研发人员。
• 知识产权： 拥有3000万行源代码，集成电路专有权200+项，知识产权数量超1500+。

汇报人： 海光金融行业部 BD 周韵文

时间： 2025年12月23日