随着人工智能及大模型的快速发展,特别是DeepSeek的出现,大大加速了各行各业数智化转型的步伐,高校首当其冲。
很多新的模型架构需要设计、研发及验证,学校、学院和课题组都会采购大量异构设备。学校、学院和课题组的设备会分别放在学校的数据中心、学院机房、实验室,使用群体多样化,设备数量巨大、放置分散,设备管理难,没有系统的用户权限管理,资源利用率低。
衍生智算系统有效解决了上述设备管理面临的一系列问题。衍生智算系统是一套广域协同智能计算底座,对下能够纳管、调度多种异构设备,对上能够提供便捷的模型开发、训练和服务的工具链,打通了AI模型和算力之间的通道,提高算力的利用率,保障AI模型运行的稳定性。衍生智算系统包括异构设备统一纳管调度和AI一站式工具链两大功能板块。
一、异构设备统一纳管调度
算力纳管调度功能板块可以统一管理异构设备资源,系统管理用户权限,便捷、高效使用算力资源并提供资源监控。
运维人员可以通过“资源管理”栏对异构算力设备资源进行统一纳管,包括物理机和容器环境;然后通过“权限配置”栏进行组织、角色和用户管理,将权限和资源逐级下放并统一管理起来;
设备资源、权限管理
权限分配好后,用户可以在“资源申请”栏进行资源申请,待运维人员在“资源审批”栏审批通过后即可使用,用户既可以使用系统现成的资源也可以在“集群管理”栏按需求自行创建;
资源申请、审批与使用
整个系统的资源纳管和使用情况,都会在“概览”栏进行可视化呈现,包括金额、用户及资源利用率数据等;此外,在“监控告警”栏也会提供资源可视化监控和告警。
资源可视化、可视化监控与告警
二、AI一站式工具链
AI工具链功能板块提供模型、数据集管理,模型使用、调试和训练服务。
“模型管理”、“数据集管理”栏分别有当下最热门最前沿的大模型、数据集可进行调试和查看,包括当下最热门的全套DeepSeek模型,而在“模型服务”栏用户则可以进行模型使用和配置;
模型使用与调试
在“任务训练”栏可根据需要选择模型、数据集、集群及设置资源配置来一键创建模型训练任务;在“模型调试”栏可通过选择模型或训练任务来进行具体的调试任务;用户在模型开发中涉及到的知识库和prompt数据则可以在“数据配置”栏进行统一管理。
模型训练与开发
衍生智算系统可应用的场景有很多,除了高校还能应用于企事业单位、科研机构、算力运营等场景。对科研机构来说,衍生智算系统可以支撑多种科学计算场景,加速科研创新;对企事业单位来说,能助力企事业单位数智化转型,解决数智化转型中算力管理难与AI模型应用门槛高问题,提升企事业智能化水平;对算力运营来说,可以支撑高性能算力运营,优化算力资源配置,提升运营效率与用户体验。
领取专属 10元无门槛券
私享最新 技术干货