高性能应用服务 HAI 通过 COS 上传和下载数据-操作指南-文档中心-腾讯云

操作场景
对象存储（Cloud Object Storage，COS）是腾讯云提供的一种存储海量文件的分布式存储服务，可通过网络随时存储和查看数据。与高性能应用服务 HAI 之间支持同地域内网连接，实现高速网络上传和下载。
本文中以 COSCMD 工具为例，通过简单的指令对您的文件实现批量上传、下载、删除等操作。
前置条件
在通过 对象存储 COS 与高性能应用服务 HAI 之间上传和下载数据之前，请确保您在已经拥有 COS 存储桶，并且已开启相应的读写权限。具体可参见 创建存储桶 和 设置访问权限。
操作步骤
安装与配置 COSCMD 工具
1、执行 pip 命令进行安装。
pip install coscmd
2、安装完成后，执行以下命令进行更新。
pip install coscmd -U
3、首次使用前必须生成配置文件，命令具体格式如下：
coscmd config [OPTION]...<FILE>...
              [-h] --help
              [-a] <SECRET_ID>
              [-s] <SECRET_KEY>
              [-t] <TOKEN>
              [-b] <BucketName-APPID>
              [-r] <REGION> | [-e] <ENDPOINT>
              [-m] <MAX_THREAD>
              [-p] <PART_SIZE>
              [--do-not-use-ssl]
              [--anonymous]   
说明
 其中 "[]" 中的字段为选项， "<>" 的字段为需要填写的参数。
参数配置说明如下：
选项
参数说明
有效值
是否必选
-a
密钥 ID 请前往 API 密钥控制台 获取。
字符串
是
-s
密钥 Key 请前往 API 密钥控制台 获取。
字符串
是
-t
临时密钥  token，当使用临时密钥时需要配置，设置 x-cos-security-token 头部。
字符串
否
-b
指定的存储桶名称，存储桶的命名格式为 BucketName-APPID，请参见 命名规范 。初次配置使用时，您需要在 COS 控制台创建一个存储桶，用于配置工具。
字符串
是
-r
存储桶所在地域，请参见 地域和访问域名。
字符串
是
-e
设置请求的  ENDPOINT，设置 ENDPOINT 参数后，REGION 参数会失效。当您使用的是默认域名，则此处配置格式为 cos.<region>.myqcloud.com；当您使用全球加速域名，则配置为 cos.accelerate.myqcloud.com。
字符串
否
-m
多线程操作的最大线程数（默认为5，范围为1  - 30）。如果上传文件缓慢，可适当调高该值。线程数取决于机器性能，通常情况下设置为30，即可跑满带宽。例如将并发线程调整为30，执行命令为 coscmd config -m 30。
数字
否
-p
分块操作的单块大小（单位MB，默认为1MB，范围为1  - 1000）。如果上传文件缓慢，可适当调高该值。
数字
否
--do-not-use-ssl
使用 HTTP  协议，而不使用 HTTPS。
字符串
否
--anonymous
匿名操作（不携带签名）。
字符串
否
一般情况下仅需填写必填值，config 命令的使用示例如下：
coscmd config -a AChT4ThiXAbpBDEFGhT4ThiXAbp**** -s WE54wreefvds3462refgwewe**** -b bucket-1250000000 -r ap-chengdu
从 HAI 上传文件到 COS
1. 上传文件命令格式：
coscmd upload <localpath> <cospath>
2. 上传文件夹命令格式：
coscmd upload -r <localpath> <cospath>
注意
请将 "<>" 中的参数替换为您需要上传的本地文件路径（localpath），以及 COS 上存储的路径（cospath）。
举例：
将 HAI 算力实例根目录的 test.pth 文件上传到 COS 的 model 目录下。
coscmd upload test.pth model/
截图如下：
﻿
﻿
﻿
从 COS 下载文件到 HAI
1. 下载文件命令格式：
coscmd download <cospath> <localpath>
2. 下载文件夹命令格式：
coscmd download -r <cospath> <localpath>
注意
请将 "<>" 中的参数替换为您需要下载的 COS 上文件的路径（cospath），以及本地存储路径（localpath）。
举例：
下载 COS 上的 test.pth 到 HAI 算力实例根目录，并保持文件名不变。
coscmd download test.pth test.pth
截图如下：
﻿
﻿
﻿
在 HAI 中查看 COS 文件
1. 查看文件命令格式：
coscmd list <cospath>
举例：
递归查询该存储桶下 doc/ 前缀下所有的文件列表。
coscmd list model/
截图如下：
﻿
﻿
﻿
在 COS 控制台管理文件
COS 控制台提供最简单且易于上手的操作方式。用户无需编写代码或运行程序，可直接通过 COS 控制台操作存储桶、上传和分享数据以及数据备份、批量处理等，具体操作指引可参见 COS控制台指南。
﻿
更多 COSCMD 操作
更多关于 COSCMD 的操作可参见 COSCMD 工具指南。
﻿

选项	参数说明	有效值	是否必选
-a	密钥 ID 请前往 API 密钥控制台获取。	字符串	是
-s	密钥 Key 请前往 API 密钥控制台获取。	字符串	是
-t	临时密钥 token，当使用临时密钥时需要配置，设置 x-cos-security-token 头部。	字符串	否
-b	指定的存储桶名称，存储桶的命名格式为 BucketName-APPID，请参见命名规范。初次配置使用时，您需要在 COS 控制台创建一个存储桶，用于配置工具。	字符串	是
-r	存储桶所在地域，请参见地域和访问域名。	字符串	是
-e	设置请求的 ENDPOINT，设置 ENDPOINT 参数后，REGION 参数会失效。当您使用的是默认域名，则此处配置格式为 `cos.<region>.myqcloud.com`；当您使用全球加速域名，则配置为 `cos.accelerate.myqcloud.com`。	字符串	否
-m	多线程操作的最大线程数（默认为5，范围为1 - 30）。如果上传文件缓慢，可适当调高该值。线程数取决于机器性能，通常情况下设置为30，即可跑满带宽。例如将并发线程调整为30，执行命令为 `coscmd config -m 30`。	数字	否
-p	分块操作的单块大小（单位MB，默认为1MB，范围为1 - 1000）。如果上传文件缓慢，可适当调高该值。	数字	否
--do-not-use-ssl	使用 HTTP 协议，而不使用 HTTPS。	字符串	否
--anonymous	匿名操作（不携带签名）。	字符串	否

通过 COS 上传和下载数据

本页目录：

操作场景

前置条件

操作步骤

安装与配置 COSCMD 工具

从 HAI 上传文件到 COS

从 COS 下载文件到 HAI

在 HAI 中查看 COS 文件

在 COS 控制台管理文件

更多 COSCMD 操作