计算加速套件 TACO Kit 通过软硬件协同优化,能够适配 CPU、GPU、NPU 等多种加速硬件。在训练场景和推理场景中,该套件不仅有效降低用户使用计算资源的学习成本,还显著提升了计算效能。
计算加速套件 TACO Kit 具有以下核心优势:
多层级深度优化加速
提供从自底向上的网络通信、分布式策略及训练框架等多层级的优化加速组件,用户可以根据需要选择适配。
支持无侵入式业务迁移
HARP、LightCC 等优化技术支持插件式集成,无需业务代码改动,即可加速分布式训练业务。
灵活扩展分布式训练场景
支持大规模多机多卡分布式训练场景,提高加速比和模型迭代效率。
软硬件兼容
支持多种框架模型和多种加速硬件,可运行在虚拟机、物理机、容器等各种环境上。
开箱即用的推理加速方案
提供 TACO LLM、TACO DiT 推理加速引擎的加速能力,支持涵盖文生文、文生图、文生视频、图生文、音生文等多个跨模态领域的推理优化功能,助力多模态任务的性能提升。