数据源管理

最近更新时间:2024-05-15 18:13:51

我的收藏

支持的数据源类型

当前版本下,腾讯云 WeData 共支持40+种数据源,包括:
关系数据库:TDSQL-C MySQL、TDSQL MySQL、TDSQL PostgreSQL、腾讯云 MySQL、 MySQL、TCHouse-P、PostgreSQL、Oracle、SQL Server、IBM DB2、达梦 DM、SAP HANA、Sybase、TiDB;
大数据:HDFS、HBase、Hive、Kudu、Greenplum、TCHouse-C、Clickhouse、GaussDB、TCHouse-D、Doris、DLC、Impala、Gbase、Tbase、Iceberg、StarRocks、Trino、Kyuubi、TCHouse-X;
半结构化数据:FTP、SFTP、COS、REST API;
NoSQL 数据:Redis、腾讯云 ElasticSearch、ElasticSearch、腾讯云 MongoDB、MongoDB、Graph Database;
消息队列:CKafka 、DTS-Kafka、Kafka。

数据源列表

登录数据开发治理平台 WeData 控制台,单击左侧菜单数据源管理,在数据源管理页面,可查看和管理本项目下的数据源信息。


项目中包含系统源和自定义源两种数据源。系统源是绑定存算引擎后自动生成的数据源;自定义源由用户自行新建。

系统源

系统源为用户在项目中绑定计算引擎时自动创建的数据源。系统源目前仅支持用户查看数据源连接信息和编辑,不支持删除、授权与回收操作。
绑定 EMR 引擎将自动创建 EMR Hive 数据源、EMR HBase 数据源、EMR Kyuubi 数据源、EMR Impala 数据源、EMR Trino 数据源;
绑定 DLC 引擎将自动创建 DLC 数据源;
绑定 TCHouse-P 引擎将自动创建 TCHouse-P 数据源。



查看连接信息:选择数据源所在行并单击查看连接信息



编辑:选择数据源所在行并单击编辑。仅支持由主账号编辑显示名。




自定义源

自定义源为用户在 WeData 中引入的数据源,目前支持 MySQL、Kafka、HDFS 等共计20+种数据源类型。自定义源支持查看连接信息、编辑、删除、授权与回收操作。
查看连接信息:选择数据源所在行并单击查看连接信息


编辑:选择数据源所在行并单击编辑。 除连接类型、数据源名称和所属项目外,其他配置项均可编辑。
云实例:通过云实例方式引入的数据源可修改数据源描述、用户名及密码。



连接串:通过连接串方式引入的数据源可修改描述、JDBC URL 参数、用户名及密码。
编辑数据源后,单击开始测试,测试编辑后的数据源的连通性。并单击确定对编辑内容进行保存。
删除
选中数据源,并单击操作列中删除
确认数据源信息,单击删除
授权/批量授权
选中数据源,并单击操作列中授权
选择授权对象,用户或项目。
选择目标用户或项目,单击确定


回收
选中数据源,并单击操作列中回收
选择需要回收权限的目标用户或项目,单击回收并在弹框中确定


批量转交
选中数据源,并单击左上角批量转交
选择需要转交权限的目标用户,单击确定。转交后该数据源的负责人将变为转交人。



创建关系数据库数据数据源

腾讯云 WeData 当前版本支持创建的关系型数据库包括10余种,其中腾讯云关系型数据库产品(例如,TDSQL-C MySQL、TDSQL MySQL、TDSQL PostgreSQL、腾讯云 MySQL 等)支持用云实例的方式进行连接,通用关系型数据库数据源(例如 MySQL、PostgreSQL、Oracle、SQL Server 等)支持使用连接串的方式进行连接。

选择数据源类型

单击新建数据源并选择数据源类型,选择后单击下一步




配置数据源:TDSQL-C MySQL

腾讯云关系型数据库产品,以 TDSQL-C MySQL 数据源为例进行讲解,其他数据源同理。TDSQL-C MySQL 数据源支持云实例和连接串两种连接方式。
通过云实例方式创建数据源。



参数
说明
连接类型
选择云实例或连接串的数据源连接形式
所属项目
当前数据源创建时的归属项目
数据源名称
新建的数据源的名称,由用户自定义且不可为空。命名以字母开头,可包含字母、数字、下划线。长度在20字符以内
显示名
数据源在产品中使用时的显示名称,不填默认显示数据源名称
描述
选填,对本数据源的描述
数据源权限
项目共享表示当前数据源项目所有成员均可使用 ,仅个人和管理员表示改数据源仅创建人和项目管理员可用
获取实例
选择账户下云数据库实例所在的地域、实例名称及 ID 信息
数据库名称
需要连接的数据库名称
用户名
连接数据库的用户名称
密码
连接数据库的密码
数据连通性
测试是否能够连通所配置的数据库
说明:
若连通性测试不通过,数据源仍可保存。连通性测试未通过而保存但数据源不可使用。
如果连通性测试不通过,可能是因为 WeData 被数据库所在网络防火墙禁止,请参见 添加腾讯云 MySQL 数据库安全组
通过连接串创建数据源。



参数
说明
数据源名称
新建的数据源的名称,由用户自定义且不可为空。命名以字母开头,可包含字母、数字、下划线。长度在20字符以内
显示名
数据源在产品中使用时的显示名称,不填默认显示数据源名称
描述
选填,对本数据源的描述
数据源权限
项目共享表示当前数据源项目所有成员均可使用 ,仅个人和管理员表示该数据源仅创建人和项目管理员可用
部署方式
支持自建实例、公网实例两种部署方式,其中自建实例为在腾讯云服务器上部署的数据源实例,公网实例为在客户本地IDC或其他云上资源实例,支持通过公网进行访问连接。
区域与网络
当选择自建实例时,需要选择数据源实例所在地域与 vpcID
JDBC URL
用于连接 TDSQL-C MySQL 数据源实例的连接串信息,包含 host ip、port、数据库名称等信息
数据库名称
需要连接的数据库名称
用户名
连接数据库的用户名称
密码
连接数据库的密码
数据连通性
测试是否能够连通所配置的数据库。
说明:
若连通性测试不通过,数据源仍可保存。连通性测试未通过而保存但数据源不可使用。
如果连通性测试不通过,可能是因为 WeData 被数据库所在网络防火墙禁止,请参见 添加腾讯云 MySQL 数据库安全组

配置数据源:PostgreSQL

通用关系型数据库数据源,以 PostgreSQL 为例进行讲解,其他数据源同理。PostgreSQL 数据源仅支持连接串一种连接方式。



参数
说明
数据源名称
新建的数据源的名称,由用户自定义且不可为空。命名以字母开头,可包含字母、数字、下划线。长度在20字符以内
显示名
选填显示名,不填则显示数据源名称
描述
选填,对本数据源的描述
数据源权限
项目共享表示当前数据源项目所有成员均可使用 ,仅个人和管理员表示改数据源仅创建人和项目管理员可用
部署方式
支持自建实例、公网实例两种部署方式,其中自建实例为在腾讯云服务器上部署的数据源实例,公网实例为在客户本地 IDC 或其他云上资源实例,支持通过公网进行访问连接。
区域和网络
当选择自建实例时,需要选择数据源所在地域与 vpcID
JDBC URL
用于连接 PostgreSQL 数据源实例的连接串信息,包含 host ip、port、数据库名称等信息
用户名
连接数据库的用户名称
密码
连接数据库的密码
数据连通性
测试是否能够连通所配置的数据库

配置数据源:IBM DB2

DB2 数据源仅支持连接串一种连接方式。


参数
说明
数据源名称
新建的数据源的名称,由用户自定义且不可为空。命名以字母开头,可包含字母、数字、下划线。长度在20字符以内
显示名
选填显示名,不填则显示数据源名称
描述
选填,对本数据源的描述
数据源权限
项目共享表示当前数据源项目所有成员均可使用 ,仅个人和管理员表示改数据源仅创建人和项目管理员可用
区域和网络
选择账户下云数据库实例所在的地域、实例名称及 ID 信息。
DB2 型号
选择对应的 DB2 型号,当前版本支持 DB2 iSeries/AS 400、DB2 for LUW 和 DB2 z/OS 三种型号
IP 和端口号
分别输入 DB2 数据源的 IP 与端口号信息
用户名
连接数据库的用户名称
密码
连接数据库的密码
数据连通性
测试是否能够连通所配置的数据库

配置数据源:Sybase

Sybase 数据源仅支持连接串一种连接方式。



参数
说明
数据源名称
新建的数据源的名称,由用户自定义且不可为空。命名以字母开头,可包含字母、数字、下划线。长度在20字符以内
显示名
选填显示名,不填则显示数据源名称
描述
选填,对本数据源的描述
数据源权限
项目共享表示当前数据源项目所有成员均可使用 ,仅个人和管理员表示改数据源仅创建人和项目管理员可用
部署方式
选择来源于自建实例或公网实例
区域和网络
选择账户下云数据库实例所在的地域、实例名称及 ID 信息。
IP 和端口号
分别输入 Sybase 数据源的 IP 与端口号信息
数据库名称
需要连接的数据库名称
用户名
连接数据库的用户名称
密码
连接数据库的密码
数据连通性
测试是否能够连通所配置的数据库

创建大数据数据源

腾讯云 WeData 当前版本支持创建的大数据类型数据源包括10余种,其中 TCHouse-C、TCHouse-D 为腾讯云大数据产品。

选择数据源类型

单击新建数据源并选择数据源类型,选择后单击下一步




配置数据源。

配置数据源:HDFS

WeData 目前支持通过腾讯云 EMR 云实例和连接串两种方式引入 HDFS 数据源。
云实例方式引入数据源。


参数
说明
数据源名称
新建的数据源的名称,由用户自定义且不可为空。命名以字母开头,可包含字母、数字、下划线。长度在20字符以内
显示名
选填显示名,不填则显示数据源名称
描述
选填,对本数据源的描述
数据源权限
项目共享表示当前数据源项目所有成员均可使用 ,仅个人和管理员表示该数据源仅创建人和项目管理员可用
部署方式
仅支持腾讯云 EMR
获取实例
选择账户下 EMR 实例所在的地域、实例名称及 ID 信息
数据连通性
测试是否能够连通所配置的数据库(若连通性测试不通过,会给出错误提示供排查原因,同时,数据源仍可保存,但该数据源使用时会发生异常)
连接串方式引入数据源



参数
说明
数据源名称
新建的数据源的名称,由用户自定义且不可为空。命名以字母开头,可包含字母、数字、下划线。长度在20字符以内
描述
选填,对本数据源的描述
部署方式
目前仅支持添加腾讯云 EMR 中的 HDFS
区域与网络
先选择地域,再选择该地域下的 EMR 实例,单击右侧刷新按钮可以重新获取该地域下的实例
defaultFS
用于指定默认文件系统,并默认为本地文件系统
扩展配置
选填,关于 HDFS 连接串方式的配置的可选扩展
core-site.xml 文件
HDFS 的 core-site.xml 文件
hdfs-site.xml 文件
HDFS 的 hdfs-site.xml 文件
认证方式
HDFS 连接是否存在 Kerberos 认证方式
keytab 文件
Kerberos 认证所需的 keytab 文件
conf 文件
Kerberos 认证所需的 conf 文件
principal
Kerberos 认证所需的 principal
数据连通性
测试是否能够连通所配置的数据库(若连通性测试不通过,会给出错误提示供排查原因,同时,数据源仍可保存,但该数据源使用时会发生异常)

配置数据源:HBase

WeData 目前支持通过腾讯云 EMR 云实例和连接串两种方式引入 HBase 数据源。
云实例方式引入数据源


参数
说明
数据源名称
新建的数据源的名称,由用户自定义且不可为空。命名以字母开头,可包含字母、数字、下划线。长度在20字符以内
显示名
选填显示名,不填则显示数据源名称
描述
选填,对本数据源的描述
数据源权限
项目共享表示当前数据源项目所有成员均可使用 ,仅个人和管理员表示改数据源仅创建人和项目管理员可用
部署方式
当前版本仅支持腾讯云 EMR
获取实例
选择账户下 EMR 实例所在的地域、实例名称及 ID 信息
数据连通性
测试是否能够连通所配置的数据库(若连通性测试不通过,会给出错误提示供排查原因,同时,数据源仍可保存,但该数据源使用时会发生异常)
连接串方式引入数据源


参数
说明
数据源名称
新建的数据源的名称,由用户自定义且不可为空。命名以字母开头,可包含字母、数字、下划线。长度在20字符以内
描述
选填,对本数据源的描述
数据源部署方式
目前仅支持添加腾讯云 EMR 中的 HBase
获取实例
先选择地域,再选择该地域下的 EMR 实例,单击右侧刷新按钮可以重新获取该地域下的实例
数据连通性
测试是否能够连通所配置的数据库(若连通性测试不通过,会给出错误提示供排查原因,同时,数据源仍可保存,但该数据源使用时会发生异常)

配置数据源:Hive

WeData 目前支持通过连接串引入 Hive 数据源。








参数
说明
数据源名称
新建的数据源的名称,由用户自定义且不可为空。命名以字母开头,可包含字母、数字、下划线。长度在20字符以内
描述
选填,对本数据源的描述
数据源权限
项目共享表示当前数据源项目所有成员均可使用 ,仅个人和管理员表示改数据源仅创建人和项目管理员可用
JDBC URL
用于连接 Hive 数据源的连接串信息
用户名
连接数据源的用户名称
密码
连接数据源的密码
元数据采集
选中后,当前数据源会在数据发现模块自动创建元数据采集任务
数据连通性
测试是否能够连通所配置的数据库

配置数据源:Kudu

WeData 目前支持通过腾讯云 EMR 和连接串两种方式引入 Kudu 数据源。
云实例方式引入数据源。


参数
说明
数据源名称
新建的数据源的名称,由用户自定义且不可为空。命名以字母开头,可包含字母、数字、下划线。长度在20字符以内
显示名
选填显示名,不填则显示数据源名称
描述
选填,对本数据源的描述
数据源权限
项目共享表示当前数据源项目所有成员均可使用 ,仅个人和管理员表示改数据源仅创建人和项目管理员可用
部署方式
当前版本仅支持腾讯云 EMR
获取实例
选择账户下 EMR 实例所在的地域、实例名称及 ID 信息。
数据连通性
测试是否能够连通所配置的数据库(若连通性测试不通过,会给出错误提示供排查原因,同时,数据源仍可保存,但该数据源使用时会发生异常)
连接串方式引入数据源。


参数
说明
数据源名称
新建的数据源的名称,由用户自定义且不可为空。命名以字母开头,可包含字母、数字、下划线。长度在20字符以内
描述
选填,对本数据源的描述
数据源权限
项目共享表示当前数据源项目所有成员均可使用 ,仅个人和管理员表示改数据源仅创建人和项目管理员可用
Kudu 服务器列表
用于连接 Kudu 服务器的地址信息
用户名
连接数据源的用户名称
密码
连接数据源的密码
数据连通性
测试是否能够连通所配置的数据库

配置数据源:Doris

WeData 目前支持通过连接串方式引入 Doris DB、StarRocks 数据源。



参数
说明
数据源名称
新建的数据源的名称,由用户自定义且不可为空。命名以字母开头,可包含字母、数字、下划线。长度在20字符以内
描述
选填,对本数据源的描述
数据源权限
项目共享表示当前数据源项目所有成员均可使用 ,仅个人和管理员表示改数据源仅创建人和项目管理员可用
部署方式
可选择自建实例或公网实例,用户自建实例需要输入区域和网络,公网实例无须区域和网络信息
区域和网络
选择账户下云数据库实例所在的地域、实例名称及 ID 信息。
JDBC URL
用于连接 Hive 数据源的连接串信息
FE URL
输入 fe http 地址,格式为:IP 地址 :http 端口,多个地址之间使用逗号(,)分隔,例如:172.17.16.3:8030,172.17.16.4:8030
用户名
连接数据源的用户名称
密码
连接数据源的密码
数据连通性
测试是否能够连通所配置的数据库

配置数据源:Iceberg

WeData 目前支持通过连接串方式引入 Iceberg 数据源。



参数
说明
数据源名称
新建的数据源的名称,由用户自定义且不可为空。命名以字母开头,可包含字母、数字、下划线。长度在20字符以内
描述
选填,对本数据源的描述
数据源权限
项目共享表示当前数据源项目所有成员均可使用 ,仅个人和管理员表示改数据源仅创建人和项目管理员可用
区域和网络
选择账户下云数据库实例所在的地域、实例名称及 ID 信息。
catalog
可选择 HIVE 或 HDFS
Metastore URL
请输入 Metastore URL
JDBC URL
用于连接 Hive 数据源的连接串信息
用户名
连接数据源的用户名称
密码
连接数据源的密码
warehouse 路径
请输入 warehouse 路径
core-site.xml
支持上传 core-site.xml
hdfs-site.xml
支持上传 hdfs-site.xml
hive-site.xml
支持上传 hive-site.xml
认证方式
可选择 Kerberos 的认证方式
数据连通性
测试是否能够连通所配置的数据库

配置数据源:DLC

WeData 目前支持通过连接串的方式接入DLC 数据源。



参数
说明
数据源名称
新建的数据源的名称,由用户自定义且不可为空。命名以字母开头,可包含字母、数字、下划线。长度在20字符以内
描述
选填,对本数据源的描述
数据源权限
项目共享表示当前数据源项目所有成员均可使用 ,仅个人和管理员表示改数据源仅创建人和项目管理员可用
JDBC URL
用于连接 DLC 数据源的连接串信息
用户名
连接数据源的用户名称
SecretId
连接数据源的用户名称
SecretKey
连接数据源的密码
数据连通性
测试是否能够连通所配置的数据库

DLC 权限范围操作指南

1. 请在访问管理 > 用户 > 用户列表页面中,单击新建用户并开始创建新用户(即子账号)。


2. 按创建用户页面流程创建用户:填写用户名、选择标签键与标签值,即可完成新用户的创建。


3. 访问管理 > 策略页面中,给指定的角色或子账号设置对应 DLC 数据策略赋予权限。




4. 申请密钥:若当无子账号时,可引导并跳转到创建子账号对应 API 密钥页面进行创建密钥,如下图:


5. DLC 平台 CAM 权限增加 DLC 策略权限,详情请参见 访问管理 CAM 服务



配置数据源:Clickhouse、Kyuubi、TChouse-X

WeData 目前支持通过云实例和连接串两种方式引入 Clickhouse、Kyuubi、TCHouse-X 数据源。
云实例方式引入数据源。


参数
说明
数据源名称
新建的数据源的名称,由用户自定义且不可为空。命名以字母开头,可包含字母、数字、下划线。长度在20字符以内
显示名
选填显示名,不填则显示数据源名称
描述
选填,对本数据源的描述
数据源权限
项目共享表示当前数据源项目所有成员均可使用 ,仅个人和管理员表示改数据源仅创建人和项目管理员可用
部署方式
当前版本仅支持腾讯云 EMR
获取实例
选择账户下云数据库实例所在的地域、实例名称及 ID 信息
数据库名
目标数据库名
用户名
连接数据源的用户名称
密码
连接数据源的密码
数据连通性
测试是否能够连通所配置的数据库(若连通性测试不通过,会给出错误提示供排查原因,同时,数据源仍可保存,但该数据源使用时会发生异常)
连接串方式引入数据源。



参数
说明
数据源名称
新建的数据源的名称,由用户自定义且不可为空。命名以字母开头,可包含字母、数字、下划线。长度在20字符以内
描述
选填,对本数据源的描述
数据源权限
项目共享表示当前数据源项目所有成员均可使用 ,仅个人和管理员表示改数据源仅创建人和项目管理员可用
JDBC URL
用于连接 Hive 数据源的连接串信息
用户名
连接数据源的用户名称
密码
连接数据源的密码
数据连通性
测试是否能够连通所配置的数据库

配置数据源:Trino

腾讯云 WeData 目前支持连接串方式引入 Trino 数据源。



参数
说明
数据源名称
新建的数据源的名称,由用户自定义且不可为空。命名以字母开头,可包含字母、数字、下划线。长度在20字符以内。
显示名
选填显示名,不填则显示数据源名称。
描述
选填,对本数据源的描述。
数据源权限
项目共享表示当前数据源项目所有成员均可使用 ,仅个人和管理员表示改数据源仅创建人和项目管理员可用。
部署方式
支持自建实例、公网实例两种部署方式
区域和网络
选择账户下云数据库实例所在的地域、实例名称及 ID 信息。
IP和端口号
选填,输入当前数据源的 IP 地址和端口号
catalog
可选择 catalog
Schema
请输入 sybase
用户名
连接数据源的用户名称
密码
连接数据源的密码
数据连通性
测试是否能够连通所配置的数据库

配置数据源:Greenplum、GauseDB、Impala、Tbase、Gbase

针对数据源类型:Greenplum、GauseDB、Impala、Tbase、Gbase,腾讯云 WeData 目前支持连接串方式进行接入。



参数
说明
数据源名称
新建的数据源的名称,由用户自定义且不可为空。命名以字母开头,可包含字母、数字、下划线。长度在20字符以内
描述
选填,对本数据源的描述
数据源权限
项目共享表示当前数据源项目所有成员均可使用 ,仅个人和管理员表示改数据源仅创建人和项目管理员可用
JDBC URL
用于连接 Hive 数据源的连接串信息
用户名
连接数据源的用户名称
密码
连接数据源的密码
数据连通性
测试是否能够连通所配置的数据库

创建半结构化数据源

腾讯云 Wedata 当前版本支持 FTP、SFTP、COS 和 REST API 四种半结构化数据源,其中 COS 是腾讯云产品。

选择数据源类型

单击新建数据源并选择数据源类型,选择后单击下一步





配置数据源:FTP

腾讯云 WeData 目前支持连接串方式引入 FTP 数据源。


参数
说明
数据源名称
新建的数据源的名称,由用户自定义且不可为空。命名以字母开头,可包含字母、数字、下划线。长度在20字符以内
描述
选填,对本数据源的描述
数据源权限
项目共享表示当前数据源项目所有成员均可使用 ,仅个人和管理员表示改数据源仅创建人和项目管理员可用
部署方式
可选择自建实例或公网实例,用户自建实例需要输入区域和网络,公网实例无须区域和网络信息
区域和网络
选择所在地域以及当前地域下对应的 vpcid
IP 和端口号
输入 FTP 数据源的 IP 和端口号
用户名
连接数据源的用户名
密码
连接数据源的密码
数据连通性
测试是否能够连通所配置的数据库

配置数据源:SFTP

腾讯云 WeData 目前支持连接串方式引入 SFTP 数据源。


参数
说明
数据源名称
新建的数据源的名称,由用户自定义且不可为空。命名以字母开头,可包含字母、数字、下划线。长度在20字符以内
描述
选填,对本数据源的描述
数据源权限
项目共享表示当前数据源项目所有成员均可使用 ,仅个人和管理员表示改数据源仅创建人和项目管理员可用
部署方式
可选择自建实例或公网实例,用户自建实例需要输入区域和网络,公网实例无须区域和网络信息
区域和网络
选择所在地域以及当前地域下对应的 vpcid
IP 和端口号
输入 SFTP 数据源的 IP 和端口号
用户名
连接数据源的用户名
密码
连接数据源的密码
数据连通性
测试是否能够连通所配置的数据库

配置数据源:COS

腾讯云 WeData 目前支持云实例方式引入 COS 数据源。


参数
说明
数据源名称
新建的数据源的名称,由用户自定义且不可为空。命名以字母开头,可包含字母、数字、下划线。长度在20字符以内
描述
选填,对本数据源的描述
数据源权限
项目共享表示当前数据源项目所有成员均可使用 ,仅个人和管理员表示改数据源仅创建人和项目管理员可用
部署方式
可选择自建实例或公网实例,用户自建实例需要输入区域和网络,公网实例无须区域和网络信息
区域和网络
选择所在地域以及当前地域下对应的 vpcid
secertId
连接数据源的用户名称
secertKey
连接数据源的密码
存储桶
选填,添加当前数据源的访问路径
数据连通性
测试是否能够连通所配置的数据库(若连通性测试不通过,会给出错误提示供排查原因,同时,数据源仍可保存,但该数据源使用时会发生异常)

配置数据源:REST API

腾讯云 WeData 目前支持连接串方式引入 REST API 数据源。



参数
说明
数据源名称
新建的数据源的名称,由用户自定义且不可为空。命名以字母开头,可包含字母、数字、下划线。长度在20字符以内
描述
选填,对本数据源的描述
数据源权限
项目共享表示当前数据源项目所有成员均可使用 ,仅个人和管理员表示改数据源仅创建人和项目管理员可用
部署方式
可选择自建实例或公网实例,用户自建实例需要输入区域和网络,公网实例无须区域和网络信息
区域和网络
选择所在地域以及当前地域下对应的 vpcid
URL
用于连接数据源的连接串信息
默认请求头
可选填写请求头
认证方式
可选择 Basic、Token 的认证方式
数据连通性
测试是否能够连通所配置的数据库(若连通性测试不通过,会给出错误提示供排查原因,同时,数据源仍可保存,但该数据源使用时会发生异常)

创建 NoSQL 数据源

腾讯云 WeData 当前版本支持的 NoSQL 类型数据源包括 Redis、腾讯云 ELasticSearch、ElasticSearch、腾讯云 MongoDB、MongoDB、Graph Database,其中腾讯云 ELasticSearch、腾讯云 MongoDB 为腾讯云 NoSQL 数据库产品。

选择数据源类型

单击新建数据源并选择数据源类型,选择后单击下一步





配置数据源:腾讯云 ElasticSearch

腾讯云 ElasticSearch、腾讯云 MongoDB 数据源支持通过云实例的方式进行接入,以腾讯云 ElasticSearch 为例进行讲解,腾讯云 MongoDB 数据源同理。



参数
说明
数据源名称
新建的数据源的名称,由用户自定义且不可为空。命名以字母开头,可包含字母、数字、下划线。长度在20字符以内
显示名
选填显示名,不填则显示数据源名称
描述
选填,对本数据源的描述
数据源权限
项目共享表示当前数据源项目所有成员均可使用 ,仅个人和管理员表示改数据源仅创建人和项目管理员可用
获取实例
选择账户下腾讯云 ElasticSearch 实例所在的地域、实例名称及 ID 信息
安全认证
选择匿名登录则无须填写用户名密码,选择用户名密码登录后需填写用户名及密码信息完成安全认证
用户名
连接数据源的用户名称
密码
连接数据源的密码
数据连通性
测试是否能够连通所配置的数据库(若连通性测试不通过,会给出错误提示供排查原因,同时,数据源仍可保存,但该数据源使用时会发生异常)

配置数据源:Redis

Redis、ElasticSearch、MongDB、Graph Database 数据源目前仅支持用连接串方式接入,以 Redis 数据源为例进行讲解,其他数据源同理。



参数
说明
数据源名称
新建的数据源的名称,由用户自定义且不可为空。命名以字母开头,可包含字母、数字、下划线。长度在20字符以内
描述
选填,对本数据源的描述
数据源权限
项目共享表示当前数据源项目所有成员均可使用 ,仅个人和管理员表示改数据源仅创建人和项目管理员可用
部署方式
支持自建实例、公网实例两种部署方式,其中自建实例为在腾讯云服务器上部署的数据源实例,公网实例为在客户本地 IDC 或其他云上资源实例,支持通过公网进行访问连接。
区域和网络
当选择自建实例时,需要选择数据源所在地域与 vpcID
IP 和端口号
选填,输入当前数据源的 IP 地址和端口号
账号类型
无用户名可不填
腾讯云 Redis 自定义账号,请填写账号
2018年1月份前购买的腾讯云 Redis 实例,请填写实例 ID
密码
连接数据源的密码
数据连通性
测试是否能够连通所配置的数据库

创建消息队列数据源

腾讯云 WeData 当前版本支持的消息队列类型数据源包括腾讯云 CKafka、DTS-Kafka、Kafka 三种,其中 CKafka、DTS-Kafka 为腾讯云消息队列产品。

选择数据源类型

单击新建数据源并选择数据源类型,选择后单击下一步





配置数据源:腾讯云 CKafka

WeData 支持通过云实例方式接入 Ckafka 类型数据源。



参数
说明
数据源名称
新建的数据源的名称,由用户自定义且不可为空。命名以字母开头,可包含字母、数字、下划线。长度在20字符以内
显示名
选填显示名,不填则显示数据源名称
描述
选填,对本数据源的描述
数据源权限
项目共享表示当前数据源项目所有成员均可使用 ,仅个人和管理员表示改数据源仅创建人和项目管理员可用
获取实例
选择账户下 CKafka 实例所在的地域、实例名称及 ID 信息
接入方式
腾讯云 Ckafka 支持 PLAINTEXT 和 SASL_PLAINTEXT 两种接入方式,详情请查看 Ckafka 用户访问控制
数据连通性
测试是否能够连通所配置的数据库(若连通性测试不通过,会给出错误提示供排查原因,同时,数据源仍可保存,但该数据源使用时会发生异常)

配置数据源:DTS-Kafka

WeData 支持通过云实例方式接入 DTS-Kafka 类型数据源。


参数
说明
数据源名称
新建的数据源的名称,由用户自定义且不可为空。命名以字母开头,可包含字母、数字、下划线。长度在20字符以内
显示名
数据源在产品中使用时的显示名称,不填默认显示数据源名称
描述
选填,对本数据源的描述
数据源权限
项目共享表示当前数据源项目所有成员均可使用 ,仅个人和管理员表示改数据源仅创建人和项目管理员可用
集群地址
集群地址,请到 DTS 控制台 > 订阅信息 > 内网地址复制
Topic
需要连接的 Topic 名称
消费组名
Consumer group 名
账户/密码
输入账户/密码
数据连通性
测试是否能够连通所配置的数据库(若连通性测试不通过,会给出错误提示供排查原因,同时,数据源仍可保存,但该数据源使用时会发生异常)

配置数据源:Kafka

WeData 支持通过连接串方式接入 Kafka 类型数据源。



参数
说明
数据源名称
新建的数据源的名称,由用户自定义且不可为空。命名以字母开头,可包含字母、数字、下划线。长度在20字符以内
描述
选填,对本数据源的描述
数据源权限
选择项目共享或仅个人与管理官可使用
部署方式
支持自建实例、公网实例两种部署方式,其中自建实例为在腾讯云服务器上部署的数据源实例,公网实例为在客户本地 IDC 或其他云上资源实例,支持通过公网进行访问连接。
区域和网络
当选择自建实例时,需要选择数据源所在地域与 vpcID
Kafka 服务列表
请输入服务列表,例如 ip1:9092,ip2:9092
Kafka 认证方式
支持 PLAINTEXT、SASL_PLAINTEXT、SASL_SSL、JAAS 四种认证方式:
如果选择 SASL_PAINTEXT 认证方式,需要填写用户名、密码;
如果选择 SASL_SSL 认证方式,需要填写 TrustStore 认证文件、TrustStore 密码、用户名、密码;
如果选择 JAAS 认证方式,需要填写 Kafka sasl jaas 配置。
数据连通性
测试是否能够连通所配置的数据库(若连通性测试不通过,会给出错误提示供排查原因,同时,数据源仍可保存,但该数据源使用时会发生异常)