最佳实践

开发者指南

API 文档

SDK 文档

批量处理

最近更新时间:2020-10-21 17:51:22

简介

COS 批量处理功能可以实现对存储桶中的对象执行大规模批量操作。当前您可以对以下操作执行批量处理:

  • 复制对象
  • 恢复归档对象

您可以将需要处理的对象整理在一份对象清单文件中,该清单文件可以来源于清单功能生成的清单报告(需先 开启清单功能),也可以由您依据指定格式自行创建。 COS 批量处理功能可以根据这份对象清单文件进行批量处理。有关使用 COS 批量处理任务的详细信息,请参见 批量处理概述

操作步骤

  1. 登录 对象存储控制台,在左侧导航栏中单击【批量处理】,进入批量处理任务管理界面。
  2. 单击【创建任务】,开始创建批量处理任务,配置项说明如下。
    • 任务地域:选择创建任务的地域。任务地域需与您清单中待处理对象的存储桶地域一致,否则任务将失败。
      说明:

      目前批量处理功能支持中国大陆公有云地域,其他地域暂不支持。

    • 清单格式:选择要使用清单对象的类型,有以下两种格式:
      清单格式 字段 配置说明
      COS 清单报告 - 清单文件如果来源于清单功能生成的清单报告,请选择此项
      CSV Bucket 存储桶的名称
      Key 存储桶中的对象名称。使用 CSV 文件格式时,对象名称采用 URL 编码形式,必须解码完成才能使用
      VersionId 对象版本 ID。在存储桶上启用版本控制后,COS 会为添加到存储桶的对象指定版本号。如果您希望使用并非最新的对象版本,则可以选择包含清单对象的版本 ID
    • 清单存储桶:选择清单所在的存储桶。
    • 清单文件路径:选择清单文件或 CSV 文件所在路径,格式分别为 json 和 csv,例如您有一份清单保存在存储桶examplebucket-1250000000的根目录下,则清单路径为:manifest.json
  3. 单击【下一步】,此时清单 Etag 会列出,该项用于验证您已选择正确的清单对象,然后进入操作配置页,选择任务类型,配置项说明如下。
    • 批量数据复制
      • 目标存储桶:希望将清单列表中的对象复制后存放的存储桶。
      • 存储类型:对复制后的对象设置存储类型。可选标准存储、低频存储、归档存储。
      • 服务端加密:选择是否需要对复制后的对象进行加密,可选不加密、SSE-COS 加密。
      • 访问权限:对复制后的对象设置访问权限,可选继承目标存储桶权限、私有读写、公有读私有写。
      • 对象元数据:对复制后的对象设置元数据,可选复制原有元数据、替换所有元数据。
    • 批量恢复归档存储
      • 恢复模式:可选标准模式、批量模式。恢复模式的介绍可参见 恢复归档对象
      • 副本有效期:设置副本在多少天后自动过期删除,设置范围为最短1天,最长365天。
  4. 单击【下一步】,进入其他配置页,填写好以下相关配置:
    • 任务描述(可选):针对该项任务的描述,可不填。
    • 任务优先级:优先级高的任务会优先执行,可填非0正整数,数字越大表示优先级越高。
    • 任务报告:可选择是否生成任务报告。
    • CAM 角色:您可以建立一个 CAM 角色或选择已有的 CAM 角色为 COS 授予操作权限。
      注意:

      批量处理操作需要您通过创建 CAM 角色的方式,来授予 COS 批量处理的权限,有关 CAM 角色详情可参见 CAM 角色概述

  5. 单击【下一步】,进入信息核对页,请核对您所填写的批量处理任务配置,如需修改,请单击对应的【修改】或【上一步】,最后确认无误后单击【完成】即可。
  6. 批量任务创建完成后,在任务列表中找到刚才已创建的任务,并单击【确认】即可。如需取消任务,可单击右侧的【取消任务】。
目录