帮你快速理解、总结文档立即下载

COS 数据源

最近更新时间:2026-09-28 11:00:00
我的收藏

概述

对象存储(Cloud Object Storage,COS)是腾讯云提供的海量、安全、低成本的分布式存储服务,适用于存放任意类型的文件。DataBuddy 数据接入支持将 COS 作为来源端,读取其中的文件进行离线同步。本文介绍其连接配置、能力支持范围、前提条件与常见问题。

读取能力

能力
支持情况
说明
离线同步(读 / 写)
✓ / ✗
支持作为离线同步任务的源端读取数据;DataBuddy 数据源仅支持接入读取,不支持写入
完整数据源能力对照参见 支持的数据源与读取能力。

使用限制

限制项
说明
认证方式
SecretId / SecretKey
读取对象
以 Bucket 下的目录或文件为粒度读取

支持的文件格式

格式
说明
Text / CSV
文本与逗号分隔文件
JSON 格式文件
列式存储格式
优化行列存储格式

前提条件

获取访问密钥

在腾讯云控制台 访问管理(CAM) 中创建子账号,并生成 SecretId 与 SecretKey,授予目标 Bucket 的读取权限。建议使用子账号密钥并遵循最小权限原则,避免使用主账号密钥。

创建数据源

操作步骤

1. 登录 DataBuddy 控制台。
2. 在顶部切换到目标地域和 Workspace。
3. 进入 数据集成 > 数据源管理(或 平台管理 > 数据源管理)。
4. 点击 添加数据源,选择 COS。
5. 填写连接配置与认证信息,详见 参数说明。
6. 点击 连通性测试(参见 数据源连通性测试)。
7. 测试通过后点击 保存 或 保存 & 创建任务。

参数说明

参数
说明
是否必填
默认值
数据源名称
数据源在工作空间内的唯一标识
是
—
地域
Bucket 所在地域
是
—
桶名称(Bucket)
COS 桶名称
是
—
SecretId
访问密钥 ID
是
—
SecretKey
访问密钥 Key(支持 SSM 凭证托管)
是
—

在数据接入任务中使用

离线文件读取

配置项
说明
数据来源
已配置的 COS 数据源
读取路径
目标目录或文件路径,支持通配符
文件格式
选择 Text / CSV / JSON / Parquet / ORC 等
详细任务配置参见 文件到表同步。

最佳实践

实践
建议
密钥最小化
使用子账号密钥,仅授目标 Bucket 读取权限
目录规划
按日期分区组织目录,便于增量同步
网络打通
使用内网域名提升传输性能

常见问题

Q:认证失败(Access Denied)?

A:检查 SecretId / SecretKey 是否正确,并确认已授予目标 Bucket 的读取权限。

Q:读取不到文件?

A:确认读取路径正确,且对象 Key 前缀匹配。

相关文档