本文为您介绍如何在本地专用集群中快速入门对象存储,包括工具使用说明,使用 SDK 接入对象存储。
环境检查和准备
在使用各种工具或者 SDK 接入前,请明确客户端所处的网络环境、将使用的 CDC 对象存储集群接入域名,并确认网络连通性,可使用 Curl 等命令检查连通性确保机器能连接到对象存储。
对象存储域名与访问路径
CDC 内部物理网络访问
指 CDC 中的物理机或其他可连通 CSP 存储网关物理 IP 的客户端访问,对象存储域名示例:
xxxx-1.cos-cdc.ap-guangzhou.myqcloud.comVPC 下 CVM 访问(常见场景)
指 CDC 中的 CVM 访问或直通 CDC 下集群所在地域的 CVM 访问,对象存储域名示例:
xxxx-1.cos-cdc-int.ap-guangzhou.tencentcos.cn说明:
暂不支持公网访问。
连通性检查
确定对象存储域名后,使用 Curl 命令进行连通性检查,正常会响应 HTTP 200。
curl xxxx-1.cos-cdc-int.ap-guangzhou.tencentcos.cn -v
工具使用说明
COSBrowser 图形化工具
COSBrowser 是腾讯云对象存储 COS 推出的可视化界面工具,让您可以使用更简单的交互,轻松实现对 COS 资源的查看、传输和管理。关于 CosBrowser 的更多介绍,请参见 COSBrowser 简介。
1. 按照您的操作系统,下载对应工具版本。
https://cosbrowser.cloud.tencent.com/beta/cdctest/cosbrowser-setup-2.12.2.exe
https://cosbrowser.cloud.tencent.com/beta/cdctest/cosbrowser-2.12.2-arm64.dmg
2. 连接 CDC 中的存储桶需要在高级设置 > EndPoint/Service 域名设置,配置对应的对象存储域名(不包含桶名信息),这样请求能够发送至 CDC 对象存储集群。

说明:
COSBrowser 不支持配置存储桶和对象 ACL 权限,如有需求请使用控制台或 SDK配置。
S3 Browser 图形化工具
S3 Browser 是一款免费的 Windows 客户端软件,提供简洁易用的 Web 服务接口,可用于随时随地从网络上的任何位置存储和检索任意数量的数据。关于 S3 Browser 的更多介绍,请参见 S3 Browser 社区官网。
1. 单击 获取工具安装包,安装完成后进行账号配置。

2. Account type 选择 S3存储(S3 Compatible Storage),REST Endpoint 输入正确的对象存储域名。

3. 连接成功后,您可通过图形化页面实现文件上传下载。

S3cmd 命令行工具
说明:
作为命令行工具使用,由于 S3的权限体系与腾讯云的权限体系不一致,所以不支持存储桶和对象 ACL 相关操作,权限相关建议通过控制台操作,其余操作均可。
1. 安装 S3cmd 命令行工具。
yum install s3cmd -y
2. 修改配置文件。其中,
host_base和host_bucket输入您的对象存储域名。vi .s3cfg# 配置文件内容:access_key=AKxxxsecret_key=SKxxxhost_base = cluster-xxxx.cos-cdc.ap-guangzhou.myqcloud.comhost_bucket = cluster-xxxx.cos-cdc.ap-guangzhou.myqcloud.com/%(bucket)use_https=Falsesignature_v2 = False
常用命令如下:
s3cmd ls //列出存储桶s3cmd ls s3://bucekt //列出存储桶中文件列表s3cmd put local_file s3://bucekt //上传对象s3cmd get s3://bucekt/object //下载对象s3cmd rm s3://bucekt/object //删除对象s3cmd rb s3://bucekt //删除存储桶s3cmd -h //查看工具的 help 信息和用法
COSCMD 命令行工具
1. 安装 COSCMD 工具,详情请参见 COSCMD 工具。
2. 修改配置文件。其中,
endpoint为您的对象存储域名。vi .cos.conf# 配置文件内容:[common]secret_id = AKxxxsecret_key = SKxxxbucket = 12345-1309118522region = ap-guangzhouendpoint = cluster-xxxx.cos-cdc.ap-guangzhou.myqcloud.commax_thread = 5part_size = 1retry = 5timeout = 60schema = httpanonymous = False
3. 配置完成后,可执行以下命令查询文件列表
coscmd list
返回结果如下:

MSP 迁移工具
1. 部署半托管迁移 Agent ,具体操作及注意事项请参见 半托管迁移 Agent 的使用。
2. 数据迁移至 CDC 可按照腾讯云 COS 间半托管迁移方案操作。其中,迁移桶名称填写桶的完整域名。详细步骤请参见 腾讯云 COS 间迁移。

使用 SDK 接入对象存储
使用官网 COS SDK(对象存储 SDK 概览)对接 CDC 对象存储集群,与公有云 COS 使用区别主要是需要设置 Endpoint 为对应的 CDC 对象存储域名以连接指定集群,假设对象存储域名为
cluster-xxxx.cos-cdc.ap-guangzhou.myqcloud.com,并且已完成环境检查和准备,以下提供几种常见 SDK 的对接示例供参考。Go 语言 SDK 使用
// 存储桶域名,用于存储桶和对象操作u, _ := url.Parse("http://examplebucket-1250000000.cluster-xxxx.cos-cdc.ap-guangzhou.myqcloud.com")// service 域名,用于Get Service 查询su, _ := url.Parse("http://cluster-xxxx.cos.ap-guangzhou.myqcloud.com")b := &cos.BaseURL{BucketURL: u, ServiceURL: su}// 创建客户端client := cos.NewClient(b, &http.Client{Transport: &cos.AuthorizationTransport{SecretID: "SECRETID",SecretKey: "SECRETKEY",},})// 其余接口使用与cos基本一致
Java 语言 SDK 使用
// 1 初始化用户身份信息(appid, secretId, secretKey)COSCredentials cred = new BasicCOSCredentials("*******", "******");// 2 设置bucket的地域,务必在setEndpointBuilder前配置,否则会覆盖setEndpointBuilder的配置ClientConfig clientConfig = new ClientConfig(new Region("ap-guangzhou"));clientConfig.setEndpointBuilder(new SuffixEndpointBuilder("cluster-xxxx.cos.ap-guangzhou.myqcloud.com"));clientConfig.setHttpProtocol(HttpProtocol.http);// 3 生成cos客户端COSClient cosclient = new COSClient(cred, clientConfig);// 4. 其余接口使用与cos基本一致
Python 语言 SDK 使用
# -*- coding=utf-8from qcloud_cos import CosConfigfrom qcloud_cos import CosS3Clientimport sysimport osimport logging# 正常情况日志级别使用 INFO,需要定位时可以修改为 DEBUG,此时SDK会打印和服务端的通信信息logging.basicConfig(level=logging.INFO, stream=sys.stdout)secret_id = os.environ['COS_SECRET_ID']secret_key = os.environ['COS_SECRET_KEY']region = None # 通过 Endpoint 初始化不需要配置regionscheme = 'http' # 结合集群支持情况按需配置endpoint = 'cluster-xxxx.cos.ap-guangzhou.myqcloud.com'config = CosConfig(Region=region, SecretId=secret_id, SecretKey=secret_key, Endpoint=endpoint, Scheme=scheme)client = CosS3Client(config)# 其余接口使用与cos基本一致