支持的数据源类型
当前版本下,腾讯云 WeData 共支持40+种数据源,包括:
关系数据库:TDSQL-C MySQL、TDSQL MySQL、TDSQL PostgreSQL、腾讯云 MySQL、 MySQL、TCHouse-P、PostgreSQL、Oracle、SQL Server、IBM DB2、达梦 DM、SAP HANA、Sybase、TiDB;
大数据:HDFS、HBase、Hive、Kudu、Greenplum、TCHouse-C、Clickhouse、GaussDB、TCHouse-D、Doris、DLC、Impala、Gbase、Tbase、Iceberg、StarRocks、Trino、Kyuubi、TCHouse-X;
半结构化数据:FTP、SFTP、COS、REST API;
NoSQL 数据:Redis、腾讯云 ElasticSearch、ElasticSearch、腾讯云 MongoDB、MongoDB、Graph Database;
消息队列:CKafka 、DTS-Kafka、Kafka。
数据源列表
登录数据开发治理平台 WeData 控制台,单击左侧菜单数据源管理,在数据源管理页面,可查看和管理本项目下的数据源信息。

项目中包含系统源和自定义源两种数据源。系统源是绑定存算引擎后自动生成的数据源;自定义源由用户自行新建。

系统源
系统源为用户在项目中绑定计算引擎时自动创建的数据源。系统源目前仅支持用户查看数据源连接信息和编辑,不支持删除、授权与回收操作。
绑定 EMR 引擎将自动创建 EMR Hive 数据源、EMR HBase 数据源、EMR Kyuubi 数据源、EMR Impala 数据源、EMR Trino 数据源;
绑定 DLC 引擎将自动创建 DLC 数据源;
绑定 TCHouse-P 引擎将自动创建 TCHouse-P 数据源。


查看连接信息:选择数据源所在行并单击查看连接信息。


编辑:选择数据源所在行并单击编辑。仅支持由主账号编辑显示名。


自定义源
自定义源为用户在 WeData 中引入的数据源,目前支持 MySQL、Kafka、HDFS 等共计20+种数据源类型。自定义源支持查看连接信息、编辑、删除、授权与回收操作。
查看连接信息:选择数据源所在行并单击查看连接信息。


编辑:选择数据源所在行并单击编辑。
除连接类型、数据源名称和所属项目外,其他配置项均可编辑。
云实例:通过云实例方式引入的数据源可修改数据源描述、用户名及密码。


连接串:通过连接串方式引入的数据源可修改描述、JDBC URL 参数、用户名及密码。
编辑数据源后,单击开始测试,测试编辑后的数据源的连通性。并单击确定对编辑内容进行保存。
删除
选中数据源,并单击操作列中删除。
确认数据源信息,单击删除。
授权/批量授权
选中数据源,并单击操作列中授权。
选择授权对象,用户或项目。
选择目标用户或项目,单击确定。


回收
选中数据源,并单击操作列中回收。
选择需要回收权限的目标用户或项目,单击回收并在弹框中确定。


批量转交
选中数据源,并单击左上角批量转交。
选择需要转交权限的目标用户,单击确定。转交后该数据源的负责人将变为转交人。


创建关系数据库数据数据源
腾讯云 WeData 当前版本支持创建的关系型数据库包括10余种,其中腾讯云关系型数据库产品(例如,TDSQL-C MySQL、TDSQL MySQL、TDSQL PostgreSQL、腾讯云 MySQL 等)支持用云实例的方式进行连接,通用关系型数据库数据源(例如 MySQL、PostgreSQL、Oracle、SQL Server 等)支持使用连接串的方式进行连接。
选择数据源类型
单击新建数据源并选择数据源类型,选择后单击下一步。


配置数据源:TDSQL-C MySQL
腾讯云关系型数据库产品,以 TDSQL-C MySQL 数据源为例进行讲解,其他数据源同理。TDSQL-C MySQL 数据源支持云实例和连接串两种连接方式。
通过云实例方式创建数据源。


参数 | 说明 |
连接类型 | 选择云实例或连接串的数据源连接形式 |
所属项目 | 当前数据源创建时的归属项目 |
数据源名称 | 新建的数据源的名称,由用户自定义且不可为空。命名以字母开头,可包含字母、数字、下划线。长度在20字符以内 |
显示名 | 数据源在产品中使用时的显示名称,不填默认显示数据源名称 |
描述 | 选填,对本数据源的描述 |
数据源权限 | 项目共享表示当前数据源项目所有成员均可使用 ,仅个人和管理员表示该数据源仅创建人和项目管理员可用 |
获取实例 | 选择账户下云数据库实例所在的地域、实例名称及 ID 信息 |
数据库名称 | 需要连接的数据库名称 |
用户名 | 连接数据库的用户名称 |
密码 | 连接数据库的密码 |
数据连通性 | 测试是否能够连通所配置的数据库 说明: 若连通性测试不通过,数据源仍可保存。连通性测试未通过而保存但数据源不可使用。 如果连通性测试不通过,可能是因为 WeData 被数据库所在网络防火墙禁止,请参见 添加腾讯云 MySQL 数据库安全组。 |
通过连接串创建数据源。


参数 | 说明 |
数据源名称 | 新建的数据源的名称,由用户自定义且不可为空。命名以字母开头,可包含字母、数字、下划线。长度在20字符以内 |
显示名 | 数据源在产品中使用时的显示名称,不填默认显示数据源名称 |
描述 | 选填,对本数据源的描述 |
数据源权限 | 项目共享表示当前数据源项目所有成员均可使用 ,仅个人和管理员表示该数据源仅创建人和项目管理员可用 |
部署方式 | 支持自建实例、公网实例两种部署方式,其中自建实例为在腾讯云服务器上部署的数据源实例,公网实例为在客户本地IDC或其他云上资源实例,支持通过公网进行访问连接。 |
区域与网络 | 当选择自建实例时,需要选择数据源实例所在地域与 vpcID |
JDBC URL | 用于连接 TDSQL-C MySQL 数据源实例的连接串信息,包含 host ip、port、数据库名称等信息 |
数据库名称 | 需要连接的数据库名称 |
用户名 | 连接数据库的用户名称 |
密码 | 连接数据库的密码 |
数据连通性 | 测试是否能够连通所配置的数据库。 说明: 若连通性测试不通过,数据源仍可保存。连通性测试未通过而保存但数据源不可使用。 如果连通性测试不通过,可能是因为 WeData 被数据库所在网络防火墙禁止,请参见 添加腾讯云 MySQL 数据库安全组。 |
配置数据源:PostgreSQL
通用关系型数据库数据源,以 PostgreSQL 为例进行讲解,其他数据源同理。PostgreSQL 数据源仅支持连接串一种连接方式。


参数 | 说明 |
数据源名称 | 新建的数据源的名称,由用户自定义且不可为空。命名以字母开头,可包含字母、数字、下划线。长度在20字符以内 |
显示名 | 选填显示名,不填则显示数据源名称 |
描述 | 选填,对本数据源的描述 |
数据源权限 | 项目共享表示当前数据源项目所有成员均可使用 ,仅个人和管理员表示该数据源仅创建人和项目管理员可用 |
部署方式 | 支持自建实例、公网实例两种部署方式,其中自建实例为在腾讯云服务器上部署的数据源实例,公网实例为在客户本地 IDC 或其他云上资源实例,支持通过公网进行访问连接。 |
区域和网络 | 当选择自建实例时,需要选择数据源所在地域与 vpcID |
JDBC URL | 用于连接 PostgreSQL 数据源实例的连接串信息,包含 host ip、port、数据库名称等信息 |
用户名 | 连接数据库的用户名称 |
密码 | 连接数据库的密码 |
数据连通性 | 测试是否能够连通所配置的数据库 |
配置数据源:IBM DB2
DB2 数据源仅支持连接串一种连接方式。


参数 | 说明 |
数据源名称 | 新建的数据源的名称,由用户自定义且不可为空。命名以字母开头,可包含字母、数字、下划线。长度在20字符以内 |
显示名 | 选填显示名,不填则显示数据源名称 |
描述 | 选填,对本数据源的描述 |
数据源权限 | 项目共享表示当前数据源项目所有成员均可使用 ,仅个人和管理员表示该数据源仅创建人和项目管理员可用 |
区域和网络 | 选择账户下云数据库实例所在的地域、实例名称及 ID 信息。 |
DB2 型号 | 选择对应的 DB2 型号,当前版本支持 DB2 iSeries/AS 400、DB2 for LUW 和 DB2 z/OS 三种型号 |
IP 和端口号 | 分别输入 DB2 数据源的 IP 与端口号信息 |
用户名 | 连接数据库的用户名称 |
密码 | 连接数据库的密码 |
数据连通性 | 测试是否能够连通所配置的数据库 |
配置数据源:Sybase
Sybase 数据源仅支持连接串一种连接方式。


参数 | 说明 |
数据源名称 | 新建的数据源的名称,由用户自定义且不可为空。命名以字母开头,可包含字母、数字、下划线。长度在20字符以内 |
显示名 | 选填显示名,不填则显示数据源名称 |
描述 | 选填,对本数据源的描述 |
数据源权限 | 项目共享表示当前数据源项目所有成员均可使用 ,仅个人和管理员表示该数据源仅创建人和项目管理员可用 |
部署方式 | 选择来源于自建实例或公网实例 |
区域和网络 | 选择账户下云数据库实例所在的地域、实例名称及 ID 信息。 |
IP 和端口号 | 分别输入 Sybase 数据源的 IP 与端口号信息 |
数据库名称 | 需要连接的数据库名称 |
用户名 | 连接数据库的用户名称 |
密码 | 连接数据库的密码 |
数据连通性 | 测试是否能够连通所配置的数据库 |
创建大数据数据源
腾讯云 WeData 当前版本支持创建的大数据类型数据源包括10余种,其中 TCHouse-C、TCHouse-D 为腾讯云大数据产品。
选择数据源类型
单击新建数据源并选择数据源类型,选择后单击下一步。


配置数据源:HDFS
WeData 目前支持通过腾讯云 EMR 云实例和连接串两种方式引入 HDFS 数据源。
云实例方式引入数据源。


参数 | 说明 |
数据源名称 | 新建的数据源的名称,由用户自定义且不可为空。命名以字母开头,可包含字母、数字、下划线。长度在20字符以内 |
显示名 | 选填显示名,不填则显示数据源名称 |
描述 | 选填,对本数据源的描述 |
数据源权限 | 项目共享表示当前数据源项目所有成员均可使用 ,仅个人和管理员表示该数据源仅创建人和项目管理员可用 |
部署方式 | 仅支持腾讯云 EMR |
获取实例 | 选择账户下 EMR 实例所在的地域、实例名称及 ID 信息 |
数据连通性 | 测试是否能够连通所配置的数据库(若连通性测试不通过,会给出错误提示供排查原因,同时,数据源仍可保存,但该数据源使用时会发生异常) |
连接串方式引入数据源


参数 | 说明 |
数据源名称 | 新建的数据源的名称,由用户自定义且不可为空。命名以字母开头,可包含字母、数字、下划线。长度在20字符以内 |
描述 | 选填,对本数据源的描述 |
部署方式 | 目前仅支持添加腾讯云 EMR 中的 HDFS |
区域与网络 | 先选择地域,再选择该地域下的 EMR 实例,单击右侧刷新按钮可以重新获取该地域下的实例 |
defaultFS | 用于指定默认文件系统,并默认为本地文件系统 |
扩展配置 | 选填,关于 HDFS 连接串方式的配置的可选扩展 |
core-site.xml 文件 | HDFS 的 core-site.xml 文件 |
hdfs-site.xml 文件 | HDFS 的 hdfs-site.xml 文件 |
认证方式 | HDFS 连接是否存在 Kerberos 认证方式 |
keytab 文件 | Kerberos 认证所需的 keytab 文件 |
conf 文件 | Kerberos 认证所需的 conf 文件 |
principal | Kerberos 认证所需的 principal |
数据连通性 | 测试是否能够连通所配置的数据库(若连通性测试不通过,会给出错误提示供排查原因,同时,数据源仍可保存,但该数据源使用时会发生异常) |
配置数据源:HBase
WeData 目前支持通过腾讯云 EMR 云实例和连接串两种方式引入 HBase 数据源。
云实例方式引入数据源


参数 | 说明 |
数据源名称 | 新建的数据源的名称,由用户自定义且不可为空。命名以字母开头,可包含字母、数字、下划线。长度在20字符以内 |
显示名 | 选填显示名,不填则显示数据源名称 |
描述 | 选填,对本数据源的描述 |
数据源权限 | 项目共享表示当前数据源项目所有成员均可使用 ,仅个人和管理员表示该数据源仅创建人和项目管理员可用 |
部署方式 | 当前版本仅支持腾讯云 EMR |
获取实例 | 选择账户下 EMR 实例所在的地域、实例名称及 ID 信息 |
数据连通性 | 测试是否能够连通所配置的数据库(若连通性测试不通过,会给出错误提示供排查原因,同时,数据源仍可保存,但该数据源使用时会发生异常) |
连接串方式引入数据源


参数 | 说明 |
数据源名称 | 新建的数据源的名称,由用户自定义且不可为空。命名以字母开头,可包含字母、数字、下划线。长度在20字符以内 |
描述 | 选填,对本数据源的描述 |
数据源部署方式 | 目前仅支持添加腾讯云 EMR 中的 HBase |
获取实例 | 先选择地域,再选择该地域下的 EMR 实例,单击右侧刷新按钮可以重新获取该地域下的实例 |
数据连通性 | 测试是否能够连通所配置的数据库(若连通性测试不通过,会给出错误提示供排查原因,同时,数据源仍可保存,但该数据源使用时会发生异常) |
配置数据源:Hive
WeData 目前支持通过连接串引入 Hive 数据源。





参数 | 说明 |
数据源名称 | 新建的数据源的名称,由用户自定义且不可为空。命名以字母开头,可包含字母、数字、下划线。长度在20字符以内 |
描述 | 选填,对本数据源的描述 |
数据源权限 | 项目共享表示当前数据源项目所有成员均可使用 ,仅个人和管理员表示该数据源仅创建人和项目管理员可用 |
JDBC URL | 用于连接 Hive 数据源的连接串信息 |
用户名 | 连接数据源的用户名称 |
密码 | 连接数据源的密码 |
元数据采集 | 选中后,当前数据源会在数据发现模块自动创建元数据采集任务 |
数据连通性 | 测试是否能够连通所配置的数据库 |
配置数据源:Kudu
WeData 目前支持通过腾讯云 EMR 和连接串两种方式引入 Kudu 数据源。
云实例方式引入数据源。


参数 | 说明 |
数据源名称 | 新建的数据源的名称,由用户自定义且不可为空。命名以字母开头,可包含字母、数字、下划线。长度在20字符以内 |
显示名 | 选填显示名,不填则显示数据源名称 |
描述 | 选填,对本数据源的描述 |
数据源权限 | 项目共享表示当前数据源项目所有成员均可使用 ,仅个人和管理员表示该数据源仅创建人和项目管理员可用 |
部署方式 | 当前版本仅支持腾讯云 EMR |
获取实例 | 选择账户下 EMR 实例所在的地域、实例名称及 ID 信息。 |
数据连通性 | 测试是否能够连通所配置的数据库(若连通性测试不通过,会给出错误提示供排查原因,同时,数据源仍可保存,但该数据源使用时会发生异常) |
连接串方式引入数据源。


参数 | 说明 |
数据源名称 | 新建的数据源的名称,由用户自定义且不可为空。命名以字母开头,可包含字母、数字、下划线。长度在20字符以内 |
描述 | 选填,对本数据源的描述 |
数据源权限 | 项目共享表示当前数据源项目所有成员均可使用 ,仅个人和管理员表示该数据源仅创建人和项目管理员可用 |
Kudu 服务器列表 | 用于连接 Kudu 服务器的地址信息 |
用户名 | 连接数据源的用户名称 |
密码 | 连接数据源的密码 |
数据连通性 | 测试是否能够连通所配置的数据库 |
配置数据源:Doris
WeData 目前支持通过连接串方式引入 Doris DB、StarRocks 数据源。


参数 | 说明 |
数据源名称 | 新建的数据源的名称,由用户自定义且不可为空。命名以字母开头,可包含字母、数字、下划线。长度在20字符以内 |
描述 | 选填,对本数据源的描述 |
数据源权限 | 项目共享表示当前数据源项目所有成员均可使用 ,仅个人和管理员表示该数据源仅创建人和项目管理员可用 |
部署方式 | 可选择自建实例或公网实例,用户自建实例需要输入区域和网络,公网实例无须区域和网络信息 |
区域和网络 | 选择账户下云数据库实例所在的地域、实例名称及 ID 信息。 |
JDBC URL | 用于连接 Hive 数据源的连接串信息 |
FE URL | 输入 fe http 地址,格式为:IP 地址 :http 端口,多个地址之间使用逗号(,)分隔,例如:172.17.16.3:8030,172.17.16.4:8030 |
用户名 | 连接数据源的用户名称 |
密码 | 连接数据源的密码 |
数据连通性 | 测试是否能够连通所配置的数据库 |
配置数据源:Iceberg
WeData 目前支持通过连接串方式引入 Iceberg 数据源。


参数 | 说明 |
数据源名称 | 新建的数据源的名称,由用户自定义且不可为空。命名以字母开头,可包含字母、数字、下划线。长度在20字符以内 |
描述 | 选填,对本数据源的描述 |
数据源权限 | 项目共享表示当前数据源项目所有成员均可使用 ,仅个人和管理员表示该数据源仅创建人和项目管理员可用 |
区域和网络 | 选择账户下云数据库实例所在的地域、实例名称及 ID 信息。 |
catalog | 可选择 HIVE 或 HDFS |
Metastore URL | 请输入 Metastore URL |
JDBC URL | 用于连接 Hive 数据源的连接串信息 |
用户名 | 连接数据源的用户名称 |
密码 | 连接数据源的密码 |
warehouse 路径 | 请输入 warehouse 路径 |
core-site.xml | 支持上传 core-site.xml |
hdfs-site.xml | 支持上传 hdfs-site.xml |
hive-site.xml | 支持上传 hive-site.xml |
认证方式 | 可选择 Kerberos 的认证方式 |
数据连通性 | 测试是否能够连通所配置的数据库 |
配置数据源:DLC
WeData 目前支持通过连接串的方式接入DLC 数据源。


参数 | 说明 |
数据源名称 | 新建的数据源的名称,由用户自定义且不可为空。命名以字母开头,可包含字母、数字、下划线。长度在20字符以内 |
描述 | 选填,对本数据源的描述 |
数据源权限 | 项目共享表示当前数据源项目所有成员均可使用 ,仅个人和管理员表示该数据源仅创建人和项目管理员可用 |
JDBC URL | 用于连接 DLC 数据源的连接串信息 |
用户名 | 连接数据源的用户名称 |
SecretId | 连接数据源的用户名称 |
SecretKey | 连接数据源的密码 |
数据连通性 | 测试是否能够连通所配置的数据库 |
DLC 权限范围操作指南
1. 请在访问管理 > 用户 > 用户列表页面中,单击新建用户并开始创建新用户(即子账号)。


2. 按创建用户页面流程创建用户:填写用户名、选择标签键与标签值,即可完成新用户的创建。


3. 在访问管理 > 策略页面中,给指定的角色或子账号设置对应 DLC 数据策略赋予权限。




4. 申请密钥:若当无子账号时,可引导并跳转到创建子账号对应 API 密钥页面进行创建密钥,如下图:


5. DLC 平台 CAM 权限增加 DLC 策略权限,详情请参见 访问管理 CAM 服务。


配置数据源:Clickhouse、Kyuubi、TChouse-X
WeData 目前支持通过云实例和连接串两种方式引入 Clickhouse、Kyuubi、TCHouse-X 数据源。
云实例方式引入数据源。


参数 | 说明 |
数据源名称 | 新建的数据源的名称,由用户自定义且不可为空。命名以字母开头,可包含字母、数字、下划线。长度在20字符以内 |
显示名 | 选填显示名,不填则显示数据源名称 |
描述 | 选填,对本数据源的描述 |
数据源权限 | 项目共享表示当前数据源项目所有成员均可使用 ,仅个人和管理员表示该数据源仅创建人和项目管理员可用 |
部署方式 | 当前版本仅支持腾讯云 EMR |
获取实例 | 选择账户下云数据库实例所在的地域、实例名称及 ID 信息 |
数据库名 | 目标数据库名 |
用户名 | 连接数据源的用户名称 |
密码 | 连接数据源的密码 |
数据连通性 | 测试是否能够连通所配置的数据库(若连通性测试不通过,会给出错误提示供排查原因,同时,数据源仍可保存,但该数据源使用时会发生异常) |
连接串方式引入数据源。


参数 | 说明 |
数据源名称 | 新建的数据源的名称,由用户自定义且不可为空。命名以字母开头,可包含字母、数字、下划线。长度在20字符以内 |
描述 | 选填,对本数据源的描述 |
数据源权限 | 项目共享表示当前数据源项目所有成员均可使用 ,仅个人和管理员表示该数据源仅创建人和项目管理员可用 |
JDBC URL | 用于连接 Hive 数据源的连接串信息 |
用户名 | 连接数据源的用户名称 |
密码 | 连接数据源的密码 |
数据连通性 | 测试是否能够连通所配置的数据库 |
配置数据源:Trino
腾讯云 WeData 目前支持连接串方式引入 Trino 数据源。


参数 | 说明 |
数据源名称 | 新建的数据源的名称,由用户自定义且不可为空。命名以字母开头,可包含字母、数字、下划线。长度在20字符以内。 |
显示名 | 选填显示名,不填则显示数据源名称。 |
描述 | 选填,对本数据源的描述。 |
数据源权限 | 项目共享表示当前数据源项目所有成员均可使用 ,仅个人和管理员表示该数据源仅创建人和项目管理员可用。 |
部署方式 | 支持自建实例、公网实例两种部署方式 |
区域和网络 | 选择账户下云数据库实例所在的地域、实例名称及 ID 信息。 |
IP和端口号 | 选填,输入当前数据源的 IP 地址和端口号 |
catalog | 可选择 catalog |
Schema | 请输入 sybase |
用户名 | 连接数据源的用户名称 |
密码 | 连接数据源的密码 |
数据连通性 | 测试是否能够连通所配置的数据库 |
配置数据源:Greenplum、GauseDB、Impala、Tbase、Gbase
针对数据源类型:Greenplum、GauseDB、Impala、Tbase、Gbase,腾讯云 WeData 目前支持连接串方式进行接入。


参数 | 说明 |
数据源名称 | 新建的数据源的名称,由用户自定义且不可为空。命名以字母开头,可包含字母、数字、下划线。长度在20字符以内 |
描述 | 选填,对本数据源的描述 |
数据源权限 | 项目共享表示当前数据源项目所有成员均可使用 ,仅个人和管理员表示该数据源仅创建人和项目管理员可用 |
JDBC URL | 用于连接 Hive 数据源的连接串信息 |
用户名 | 连接数据源的用户名称 |
密码 | 连接数据源的密码 |
数据连通性 | 测试是否能够连通所配置的数据库 |
创建半结构化数据源
腾讯云 Wedata 当前版本支持 FTP、SFTP、COS 和 REST API 四种半结构化数据源,其中 COS 是腾讯云产品。
选择数据源类型
单击新建数据源并选择数据源类型,选择后单击下一步。


配置数据源:FTP
腾讯云 WeData 目前支持连接串方式引入 FTP 数据源。


参数 | 说明 |
数据源名称 | 新建的数据源的名称,由用户自定义且不可为空。命名以字母开头,可包含字母、数字、下划线。长度在20字符以内 |
描述 | 选填,对本数据源的描述 |
数据源权限 | 项目共享表示当前数据源项目所有成员均可使用 ,仅个人和管理员表示该数据源仅创建人和项目管理员可用 |
部署方式 | 可选择自建实例或公网实例,用户自建实例需要输入区域和网络,公网实例无须区域和网络信息 |
区域和网络 | 选择所在地域以及当前地域下对应的 vpcid |
IP 和端口号 | 输入 FTP 数据源的 IP 和端口号 |
用户名 | 连接数据源的用户名 |
密码 | 连接数据源的密码 |
数据连通性 | 测试是否能够连通所配置的数据库 |
配置数据源:SFTP
腾讯云 WeData 目前支持连接串方式引入 SFTP 数据源。


参数 | 说明 |
数据源名称 | 新建的数据源的名称,由用户自定义且不可为空。命名以字母开头,可包含字母、数字、下划线。长度在20字符以内 |
描述 | 选填,对本数据源的描述 |
数据源权限 | 项目共享表示当前数据源项目所有成员均可使用 ,仅个人和管理员表示该数据源仅创建人和项目管理员可用 |
部署方式 | 可选择自建实例或公网实例,用户自建实例需要输入区域和网络,公网实例无须区域和网络信息 |
区域和网络 | 选择所在地域以及当前地域下对应的 vpcid |
IP 和端口号 | 输入 SFTP 数据源的 IP 和端口号 |
用户名 | 连接数据源的用户名 |
密码 | 连接数据源的密码 |
数据连通性 | 测试是否能够连通所配置的数据库 |
配置数据源:COS
腾讯云 WeData 目前支持云实例方式引入 COS 数据源。


参数 | 说明 |
数据源名称 | 新建的数据源的名称,由用户自定义且不可为空。命名以字母开头,可包含字母、数字、下划线。长度在20字符以内 |
描述 | 选填,对本数据源的描述 |
数据源权限 | 项目共享表示当前数据源项目所有成员均可使用 ,仅个人和管理员表示该数据源仅创建人和项目管理员可用 |
部署方式 | 可选择自建实例或公网实例,用户自建实例需要输入区域和网络,公网实例无须区域和网络信息 |
区域和网络 | 选择所在地域以及当前地域下对应的 vpcid |
secertId | 连接数据源的用户名称 |
secertKey | 连接数据源的密码 |
存储桶 | 选填,添加当前数据源的访问路径 |
数据连通性 | 测试是否能够连通所配置的数据库(若连通性测试不通过,会给出错误提示供排查原因,同时,数据源仍可保存,但该数据源使用时会发生异常) |
配置数据源:REST API
腾讯云 WeData 目前支持连接串方式引入 REST API 数据源。


参数 | 说明 |
数据源名称 | 新建的数据源的名称,由用户自定义且不可为空。命名以字母开头,可包含字母、数字、下划线。长度在20字符以内 |
描述 | 选填,对本数据源的描述 |
数据源权限 | 项目共享表示当前数据源项目所有成员均可使用 ,仅个人和管理员表示该数据源仅创建人和项目管理员可用 |
部署方式 | 可选择自建实例或公网实例,用户自建实例需要输入区域和网络,公网实例无须区域和网络信息 |
区域和网络 | 选择所在地域以及当前地域下对应的 vpcid |
URL | 用于连接数据源的连接串信息 |
默认请求头 | 可选填写请求头 |
认证方式 | 可选择 Basic、Token 的认证方式 |
数据连通性 | 测试是否能够连通所配置的数据库(若连通性测试不通过,会给出错误提示供排查原因,同时,数据源仍可保存,但该数据源使用时会发生异常) |
创建 NoSQL 数据源
腾讯云 WeData 当前版本支持的 NoSQL 类型数据源包括 Redis、腾讯云 ELasticSearch、ElasticSearch、腾讯云 MongoDB、MongoDB、Graph Database,其中腾讯云 ELasticSearch、腾讯云 MongoDB 为腾讯云 NoSQL 数据库产品。
选择数据源类型
单击新建数据源并选择数据源类型,选择后单击下一步。


配置数据源:腾讯云 ElasticSearch
腾讯云 ElasticSearch 数据源、MongoDB 数据源支持通过云实例的方式进行接入,以腾讯云 ElasticSearch 为例进行讲解,腾讯云 MongoDB 数据源同理。


参数 | 说明 |
数据源名称 | 新建的数据源的名称,由用户自定义且不可为空。命名以字母开头,可包含字母、数字、下划线。长度在20字符以内 |
显示名 | 选填显示名,不填则显示数据源名称 |
描述 | 选填,对本数据源的描述 |
数据源权限 | 项目共享表示当前数据源项目所有成员均可使用 ,仅个人和管理员表示该数据源仅创建人和项目管理员可用 |
获取实例 | 选择账户下腾讯云 ElasticSearch 实例所在的地域、实例名称及 ID 信息 |
安全认证 | 选择匿名登录则无须填写用户名密码,选择用户名密码登录后需填写用户名及密码信息完成安全认证 |
用户名 | 连接数据源的用户名称 |
密码 | 连接数据源的密码 |
数据连通性 | 测试是否能够连通所配置的数据库(若连通性测试不通过,会给出错误提示供排查原因,同时,数据源仍可保存,但该数据源使用时会发生异常) |
配置数据源:Redis
Redis、ElasticSearch、MongDB、Graph Database 数据源目前仅支持用连接串方式接入,以 Redis 数据源为例进行讲解,其他数据源同理。


参数 | 说明 |
数据源名称 | 新建的数据源的名称,由用户自定义且不可为空。命名以字母开头,可包含字母、数字、下划线。长度在20字符以内 |
描述 | 选填,对本数据源的描述 |
数据源权限 | 项目共享表示当前数据源项目所有成员均可使用 ,仅个人和管理员表示该数据源仅创建人和项目管理员可用 |
部署方式 | 支持自建实例、公网实例两种部署方式,其中自建实例为在腾讯云服务器上部署的数据源实例,公网实例为在客户本地 IDC 或其他云上资源实例,支持通过公网进行访问连接。 |
区域和网络 | 当选择自建实例时,需要选择数据源所在地域与 vpcID |
IP 和端口号 | 选填,输入当前数据源的 IP 地址和端口号 |
账号类型 | 无用户名可不填 腾讯云 Redis 自定义账号,请填写账号 2018年1月份前购买的腾讯云 Redis 实例,请填写实例 ID |
密码 | 连接数据源的密码 |
数据连通性 | 测试是否能够连通所配置的数据库 |
创建消息队列数据源
腾讯云 WeData 当前版本支持的消息队列类型数据源包括腾讯云 CKafka、DTS-Kafka、Kafka 三种,其中 CKafka、DTS-Kafka 为腾讯云消息队列产品。
选择数据源类型
单击新建数据源并选择数据源类型,选择后单击下一步。


配置数据源:腾讯云 CKafka
WeData 支持通过云实例方式接入 Ckafka 类型数据源。


参数 | 说明 |
数据源名称 | 新建的数据源的名称,由用户自定义且不可为空。命名以字母开头,可包含字母、数字、下划线。长度在20字符以内 |
显示名 | 选填显示名,不填则显示数据源名称 |
描述 | 选填,对本数据源的描述 |
数据源权限 | 项目共享表示当前数据源项目所有成员均可使用 ,仅个人和管理员表示该数据源仅创建人和项目管理员可用 |
获取实例 | 选择账户下 CKafka 实例所在的地域、实例名称及 ID 信息 |
接入方式 | |
数据连通性 | 测试是否能够连通所配置的数据库(若连通性测试不通过,会给出错误提示供排查原因,同时,数据源仍可保存,但该数据源使用时会发生异常) |
配置数据源:DTS-Kafka
WeData 支持通过云实例方式接入 DTS-Kafka 类型数据源。


参数 | 说明 |
数据源名称 | 新建的数据源的名称,由用户自定义且不可为空。命名以字母开头,可包含字母、数字、下划线。长度在20字符以内 |
显示名 | 数据源在产品中使用时的显示名称,不填默认显示数据源名称 |
描述 | 选填,对本数据源的描述 |
数据源权限 | 项目共享表示当前数据源项目所有成员均可使用 ,仅个人和管理员表示该数据源仅创建人和项目管理员可用 |
集群地址 | 集群地址,请到 DTS 控制台 > 订阅信息 > 内网地址复制 |
Topic | 需要连接的 Topic 名称 |
消费组名 | Consumer group 名 |
账户/密码 | 输入账户/密码 |
数据连通性 | 测试是否能够连通所配置的数据库(若连通性测试不通过,会给出错误提示供排查原因,同时,数据源仍可保存,但该数据源使用时会发生异常) |
配置数据源:Kafka
WeData 支持通过连接串方式接入 Kafka 类型数据源。


参数 | 说明 |
数据源名称 | 新建的数据源的名称,由用户自定义且不可为空。命名以字母开头,可包含字母、数字、下划线。长度在20字符以内 |
描述 | 选填,对本数据源的描述 |
数据源权限 | 选择项目共享或仅个人与管理官可使用 |
部署方式 | 支持自建实例、公网实例两种部署方式,其中自建实例为在腾讯云服务器上部署的数据源实例,公网实例为在客户本地 IDC 或其他云上资源实例,支持通过公网进行访问连接。 |
区域和网络 | 当选择自建实例时,需要选择数据源所在地域与 vpcID |
Kafka 服务列表 | 请输入服务列表,例如 ip1:9092,ip2:9092 |
Kafka 认证方式 | 支持 PLAINTEXT、SASL_PLAINTEXT、SASL_SSL、JAAS 四种认证方式: 如果选择 SASL_PAINTEXT 认证方式,需要填写用户名、密码; 如果选择 SASL_SSL 认证方式,需要填写 TrustStore 认证文件、TrustStore 密码、用户名、密码; 如果选择 JAAS 认证方式,需要填写 Kafka sasl jaas 配置。 |
数据连通性 | 测试是否能够连通所配置的数据库(若连通性测试不通过,会给出错误提示供排查原因,同时,数据源仍可保存,但该数据源使用时会发生异常) |