上下游数据一览

最近更新时间:2019-10-23 17:34:21

SQL 作业的上下游数据介绍

  • 数据源(Source)指的是输入流计算系统的上游数据来源。在当前的流计算 Oceanus SQL 模式的作业中,数据源可以是 CKafka、云数据库 MySQL 等。
  • 数据目的(Sink)指的是流计算系统输出处理结果的目的地。在当前的流计算 Oceanus SQL 模式的作业中,数据目的可以是消息队列 CKafka、云数据库 MySQL、云数据库 PostgreSQL、Elasticsearch Service(即将支持)。

对于本文提到的各项概念,例如 Tuple 数据目的和 Upsert 数据目的的区别,请参见 词汇表

产品名 可用作数据源 可作为 Tuple 数据目的 可作为 Upsert 数据目的
消息队列 CKafka 支持 支持 不支持
云数据库 MySQL 部分支持 支持 支持
云数据库 PostgreSQL 不支持 支持 支持(需9.5及以上版本)
Elasticsearch Service 不支持 即将支持 即将支持
Snova 数据仓库 不支持 支持 不支持
日志服务 CLS 支持 不支持 不支持
对象存储 COS 不支持 支持 不支持
注意:

  • 当云数据库 MySQL 用作数据源时,可用于 JOIN 条件的右表、或者作为QUERY_DB_STR函数(见 SQL 手册)的查询表。除上述两种场景外,暂不可用于其他用途(例如流式数据读取)。
  • Snova 数据仓库由于底层所用的 PostgreSQL 版本过低,目前不支持作为 Upsert 数据目的。如果希望写入 Upsert 数据流,请使用云数据库 PostgreSQL 9.5及以上版本。

JAR 作业的上下游数据介绍

独享集群的 VPC 与用户指定的 VPC 建立互通关系后,JAR 模式的作业即可访问用户特定 VPC 下的所有网络可达的资源,包括但不限于该 VPC 下的各项腾讯云服务,例如消息队列、数据库、API 服务、云服务器 CVM 等。此外,还可以在这个特定 VPC 下搭建代理服务,以访问外部的互联网地址(例如公网 API 等),进一步增强流计算作业的处理能力。