功能简介
数据管理任务主要用于配合生命周期管理和数据流动功能,对指定路径的数据主动做相关的预热或降冷的操作,满足对数据主动管理的需求。
应用场景
AI 训练场景,数据主动预热
在需要开启生命周期管理或数据流动,且明确知道本次或近期训练所涉及到的样本路径时。可以基于此功能提前做预热,将数据提前全量预热到热层,提供更好的存储性能,加速训练效率,实现成本和效率的兼顾。
海量数据迁移场景,数据主动降冷
当海量数据迁移时,可以通过数据管理任务,在迁移的同时,对数据发起降冷任务的处理。让迁移过程中的数据快速沉降至冷存储,降低存储成本。
数据容量管理场景,数据主动降冷
当热层存储容量利用率极高时,可通过数据管理任务主动对数据做降冷,避免热层写满的问题。
功能优势
支持多种任务类型,满足多场景需求
数据流动功能下,可支持数据预热、释放、元数据加载三种任务。
数据生命周期管理功能下,可支持数据预热、数据降冷两种任务。业务无感知。
任务自并发,性能卓越
提交任务后,任务内自并发进行,能达到较好的性能。通常情况下无需用户拆任务进行并发处理。
支持任务管理功能,满足精细化管理需求
支持实时查看任务进度,确认任务执行情况。
支持查看文件列表明细,确认任务操作的完整文件清单。
支持终止任务,当数据任务压力过大时,可通过此措施,消除对现网业务的影响。