帮你快速理解、总结文档立即下载

数据沉降

最近更新时间:2026-07-23 16:56:30
我的收藏

概述

数据沉降,是将 GooseFSx 的数据沉降到 COS 存储桶,将您指定的数据(整个目录、某个子目录或清单)自动、完整、增量地沉降到 COS 存储桶中。
数据沉降的前置条件:已创建对应的数据流动规则。详情请参见 数据流动规则
数据沉降,保持目录和文件的权限不变。例如,GooseFSx 的文件:H1/big/test.dat,沉降为 COS 存储桶的对象:H1/big/test.dat, GooseFSx 的目录沉降为 COS 存储桶的特殊对象。
数据沉降分为:数据沉降和数据沉降并删除本地数据。
类型
说明
使用场景
数据沉降
将 GooseFSx 的数据沉降到 COS。
GooseFSx 和 COS 均有一份数据。
创建数据流动规则时,数据流动模式选择手动模式。
将计算结果沉降到 COS 长期保存或互联网分发。
数据沉降并删除本地数据
将 GooseFSx 的数据沉降到 COS,然后删除 GooseFSx 的数据。
GooseFSx 没有此数据,COS 有一份数据。
创建数据流动规则时,数据流动模式选择手动模式。
将计算结果沉降到 COS 长期保存或互联网分发,并删除 GooseFSx 的数据、释放 GooseFSx 空间。
数据沉降有:单次任务和周期任务。
单次任务:指用户发起、系统立即执行。
周期任务:指用户配置周期策略、系统自动周期性执行。详情请参见 数据流动周期策略


数据沉降支持文件清单

在创建数据沉降单次任务时,选择通过清单指定数据集方式,除了支持标准清单格式外,也支持数据洞察文件清单。可以直接沉降数据洞察扫描生成的文件清单,无需手动格式转换。
系统会自动识别清单格式,无需额外指定格式参数。两种清单格式可在同一份清单文件中混合使用,系统按行自动识别并解析。
标准格式的文件清单
每行一个文件路径:
/vdb_data/dir1/file1.txt
/vdb_data/dir1/file2.txt
数据洞察格式的文件清单
每行由数据洞察生成,文件路径位于 -- 分隔符之后,为行的最后一个字段:
14477 919466525 0 size:6144 kb_alloc:8 mtime:2026-01-21 04:50:33.107624 atime:2026-01-20 23:40:17.152473 -- /goosefsx/x-c60-9s81ru8q/fs_vdb_data/vdb.1_10.dir/vdb.2_3.dir/vdb_f27446.file
路径映射
文件系统根目录映射到 COS 桶根路径,路径转换示例如下:
文件系统绝对路径
COS 桶对象路径
/fs_vdb_data/vdb_f27446.file
/fs_vdb_data/vdb_f27446.file
异常处理
提交清单过程中,系统会对以下情况进行自动处理,不会中断任务执行;任务执行结束后,可在任务日志中查看上述各类异常行的汇总统计:
异常类型
处理方式
目录行
静默跳过,不计入文件统计,任务日志中汇总输出跳过总数
格式非法行(如 -- 后路径为空)
跳过该行,任务日志中汇总输出非法行总数
不存在的文件路径
跳过该文件,任务日志中汇总输出非法路径总数
使用限制
限制项
说明
支持的任务类型
仅数据沉降单次任务
路径去重
不做去重处理,与现有清单行为保持一致
混合格式
支持标准格式与数据洞察格式混合在同一清单中


创建数据沉降单次任务

创建数据沉降单次任务,是在 GooseFSx 目录与 COS 存储桶之间执行一次数据沉降。

前提条件

操作步骤

1. 登录 数据加速器 GooseFS 控制台,进入实例列表。
2. 选择地域,选择目标 GooseFSx 实例。可通过可用区状态类型等快速找到目标实例,或者通过名称关键字模糊匹配搜索出目标实例。

3. 单击实例 ID 或者管理,选择数据流动 > 数据沉降。

4. 单次任务页签下,单击创建单次任务。在弹出的对话框中,进行如下配置:

任务名称:输入易于识别的名称,创建后可修改。
GooseFSx 目录:即与 COS 建立数据流动规则的目录,在 管理数据流动规则 时可指定或者创建。
数据集:可通过目录或清单来指定需要传输的数据。例如通过目录指定 GooseFSx 目录的某个子目录或整个目录,或通过清单指定 GooseFSx 目录的某些文件。
任务类型
数据沉降:将 GooseFSx 目录的指定数据沉降到 COS 存储桶。适用于在 COS 存一份数据或通过互联网分发等场景。
数据沉降并删除本地数据:将 GooseFSx 目录的指定数据沉降到 COS 存储桶、并删除 GooseFSx 目录的指定数据。适用于数据降冷等场景。
数据沉降并淘汰本地数据但保留元数据:将 GooseFSx 目录的指定数据沉降到 COS 存储桶、并淘汰 GooseFSx 目录的指定数据且保留元数据。适用于 GooseFSx 构建全局命名空间等场景。
5. 单击确定,后台自动执行数据沉降。
注意:
若 GooseFSx 目录的数据流动模式是按需加载 Lazy-load(自动模式 L),暂不支持数据沉降单次任务。
若 GooseFSx 目录的数据流动模式是手动模式,不支持数据沉降并淘汰本地数据但保留元数据。


删除数据沉降单次任务

注意:
您可删除已完成或待执行的数据沉降单次任务。但需要注意以下几点:
删除已完成的数据沉降单次任务,您将无法查询该任务的相关信息。
删除待执行的数据沉降单次任务,即取消该任务。
暂不支持删除执行中的数据沉降单次任务。

前提条件

操作步骤

1. 登录 数据加速器 GooseFS 控制台,进入实例列表。
2. 选择地域,选择目标 GooseFSx 实例,可通过可用区状态类型等快速找到目标实例,或者通过名称关键字模糊匹配搜索出目标实例。

3. 单击实例 ID 或者管理,选择数据流动 > 数据沉降

4. 单次任务列表,选择目标任务,或通过条件过滤筛选目标任务;或勾选多个任务,执行批量删除。



查询数据沉降单次任务

前提条件

操作步骤

1. 登录 数据加速器 GooseFS 控制台,进入实例列表。
2. 选择地域,选择目标 GooseFSx 实例。可通过可用区状态类型等快速找到目标实例,或者通过名称关键字模糊匹配搜索出目标实例。

3. 单击实例 ID 或者管理,选择数据流动 > 数据沉降

4. 单次任务列表,选择目标任务,或通过条件过滤筛选目标任务,单击详情,即可查看该任务的详细信息。



复制数据沉降单次任务

前提条件

操作步骤

1. 登录 数据加速器 GooseFS 控制台,进入实例列表。
2. 选择地域,选择目标 GooseFSx 实例。可通过可用区状态类型等快速找到目标实例,或者通过名称关键字模糊匹配搜索出目标实例。

3. 单击实例 ID 或者管理,选择数据流动 > 数据沉降

4. 单次任务列表,选择目标任务,或通过条件过滤筛选目标任务,单击更多操作 >复制任务操作。

5. 在弹出的对话框中,可对所复制的任务进行相应的修改。


暂停数据沉降单次任务

暂停单次任务,即暂停正在等待执行或执行中的数据沉降单次任务,适用于需要优先执行更高优先级流动任务等场景。
说明:
任务暂停后,状态变为已暂停,已迁移量、文件数定格在暂停时刻的数值,可在任务详情中查看。
任务的执行时长在暂停期间仍持续增长(不冻结),暂停时段不会从执行时长中剔除。
已暂停的任务支持删除,删除后执行时长定格在删除时刻。

前提条件

已创建数据沉降单次任务,且任务状态为等待中或执行中。

操作步骤

1. 登录 数据加速器 GooseFS 控制台,进入实例列表。
2. 选择地域,选择目标 GooseFSx 实例。可通过可用区、状态、类型等快速找到目标实例,或者通过名称关键字模糊匹配搜索出目标实例。
3. 单击实例 ID 或者管理,选择数据流动 > 数据沉降
4. 单次任务页签下的任务列表中,找到目标任务,单击操作列的更多操作 > 暂停任务。也可勾选多个目标任务,单击列表上方的批量操作 > 暂停任务,进行批量暂停。
5. 在弹出的暂停单次任务对话框中,确认待暂停的任务信息,单击确定,可暂停的数据沉降任务。


继续数据沉降单次任务

继续单次任务,即恢复已暂停的数据沉降单次任务,使其从暂停位置继续执行。
说明:
任务继续后,状态变为等待中或执行中,已迁移量、文件数从暂停时刻定格的数值继续累加,不会重复处理已完成部分。

前提条件

已创建数据沉降单次任务,且任务状态为已暂停。

操作步骤

1. 登录 数据加速器 GooseFS 控制台,进入实例列表。
2. 选择地域,选择目标 GooseFSx 实例。可通过 可用区、状态、类型 等快速找到目标实例,或者通过名称关键字模糊匹配搜索出目标实例。
3. 单击实例 ID 或者管理,选择数据流动 > 数据沉降
4. 单次任务页签下的任务列表中,找到状态为已暂停的目标任务,单击操作列的更多操作 > 继续任务。也可勾选多个已暂停任务,单击列表上方的批量操作 > 继续任务,进行批量继续。
5. 在弹出的继续单次任务对话框中,确认待继续的任务信息,单击确定,可恢复已暂停的数据沉降任务。


创建数据沉降周期任务

周期任务,周期性自动触发执行,例如,每间隔1小时自动沉降,将 GooseFSx 数据沉降到 COS,适用于及时同步数据到 COS 等场景。
周期任务列表,可看到已创建的周期任务,可进行增删查等管理操作。
周期任务触发的沉降任务,将出现在单次任务的列表中,均以周期任务名称来命名,通过任务 ID 来区分。

前提条件

操作步骤

1. 登录 数据加速器 GooseFS 控制台,进入实例列表。
2. 选择地域,选择目标 GooseFSx 实例。可通过可用区状态类型等快速找到目标实例,或者通过名称关键字模糊匹配搜索出目标实例。

3. 单击实例 ID 或者管理,选择数据流动 > 数据沉降
4. 周期任务页签下,单击创建周期任务。在弹出的对话框中,进行如下配置:

任务名称:输入易于识别的名称。
触发周期
每小时:每间隔一小时执行一次。
每天:每间隔一天执行一次。
每周:每间隔一周执行一次。
每月:每间隔一月执行一次。
GooseFSx 目录:即与 COS 建立数据流动规则的目录,在 管理数据流动规则 时可指定或者创建。
目标路径:指定需要沉降的目录路径,例如 GooseFSx 目录、GooseFSx 目录下的某个子目录。
任务类型
数据沉降:将 GooseFSx 目录的指定数据沉降到 COS 存储桶。适用于在 COS 存一份数据或通过互联网分发等场景。
数据沉降并删除本地数据:将 GooseFSx 目录的指定数据沉降到 COS 存储桶、并删除 GooseFSx 目录的指定数据。适用于数据降冷等场景。
数据沉降并淘汰本地数据但保留元数据:将 GooseFSx 目录的指定数据沉降到 COS 存储桶、并淘汰 GooseFSx 目录的指定数据且保留元数据。适用于 GooseFSx 构建全局命名空间等场景。
5. 单击确定即可。
注意:
若 GooseFSx 目录的数据流动模式是按需加载 Lazy-load(自动模式 L),任务类型暂不支持数据沉降、暂不支持数据沉降并删除本地数据。
若 GooseFSx 目录的数据流动模式是手动模式,任务类型不支持数据沉降并淘汰本地数据但保留元数据。