产品概述

最近更新时间:2021-10-14 17:22:51

流计算 Oceanus 是大数据产品生态体系的实时化分析利器,是基于 Apache Flink 构建的具备一站开发、无缝连接、亚秒延时、低廉成本、安全稳定等特点的企业级实时大数据分析平台。流计算 Oceanus 以实现企业数据价值最大化为目标,加速企业实时化数字化的建设进程。

产品架构

一级分类 功能 描述 腾讯云 Oceanus 开源 Flink
开发调试 数据连接 依托 Connector 连接多种上下游数据服务,快速实现实时数据汇聚及结果数据落地 支持 不完全支持
云数据产品 与腾讯云主流数据产品(云数据仓库、消息队列、数据库、搜索引擎、对象存储等)无缝集成,包括 CDW、CES、EMR、CDB、Ckafka、TDMQ、COS 等 支持 不完全支持
自建数据服务 按需自定义 Connector 对接各类外部数据系统,涵盖云上和 IDC 中的自建服务 支持 支持
WebIDE 开发 以 WebIDE 的方式提供集图形化开发、多语言开发、元数据管理、代码调试、依赖管理等为一体的一站式开发调试平台 支持 不支持
低代码 图形化实时 ETL 开发 支持 不支持
多语言 涵盖 SQL/Java/Scala 语言 支持 不支持
元数据 内置统一元数据管理,支持元数据参数的变量管理 支持 不完全支持
自动 DDL 智能感知外部数据连接系统,自动生成数据源和数据汇的建表语句 支持 不支持
自定义函数 用户自定义各类型函数,包括 UDF、UDTF 和 UDAF 支持 支持
作业调试 SQL 在线语法检查 支持 不支持
SQL 在线调试、且调试过程中不影响生产环境
外部依赖 程序包管理、外部依赖(如配置文件、依赖库等)的管理和动态分发 支持 不支持
计算资源 对 JobManager 和 TaskManager 进行细粒度资源配置以及算子并行度配置 支持 不完全支持
作业版本 作业和资源历史版本管理,方便进行业务升级开发 支持 不支持
云 API 开发 云 API 提供了 WebIDE 开发所具备的全部功能接口,通过云 API 可实现业务平台与流计算 Oceanus 的无缝对接 支持 不支持
部署运维 作业部署 WebIDE 和云 API 两种方式对作业进行全生命周期部署管理,包括启动、停止、暂停和恢复 支持 不支持
运行监控 可视化作业所有的运行参数和运行状态,让作业的运行白盒化 支持 不完全支持
运行参数 可视化正在运行作业的逻辑和参数,如 SQL 语句详情和参数配置信息 支持 不支持
运行事件 可视化作业异常重启、Snapshot 失败、以及 JobManager/TaskManager 的 CPU、内存异常等各类运行状态的事件 支持 不支持
指标告警 以 Task 粒度定义动态指标,并以维度聚合(sum、max、min、avg)的方式定义从上下游系统到集群作业的健康运行相关的65+项监控指标,对作业进行全方位监控告警 支持 不完全支持
监控指标 展示作业/JobManager/TaskManager/Task 粒度指标,以及容器 POD 精确的 CPU/内存指标 支持 不完全支持
监控告警 基于腾讯云监控,支持为65+项监控指标配置告警规则,并支持 AI 动态阈值告警 支持 不支持
智能诊断 以异常日志的采集和聚合分析为切入,智能地诊断分析异常信息,并给出建议的解决方案 支持 不完全支持
异常采集 将作业运行时产生的异常日志,实时投递到腾讯云日志服务 CLS 支持 不支持
异常检索 查看作业历史实例异常日志,能够按照实例 ID、进程角色、进程 ID 进行聚合展示及分级检索 支持 不支持
异常诊断 基于异常日志的一键诊断功能,迅速分析出作业异常原因,并给出建议的解决方案 支持 不支持
黑窗诊断 将实际作业的底层 OOM Dump、JFR、异常日志等异常信息自动地上传到用户的对象存储服务 COS 中 支持 不支持
信息采集 作业进程结束后,能提供日志目录下的文件 List 供用户分析,涵盖 OOM Dump、JFR 等文件 支持 不支持
高可用 SLA 保障 集群的分布式设计无任何单点,全链路监控和快速的故障自愈能力保障3个9的可用性 支持 不支持
成本 资源成本 根据业务实际负载特点,按需分配和使用资源,降低计算资源成本 支持 不支持
AutoScaling 根据业务负载自动进行扩缩容,保障业务时效性的同时避免资源浪费 支持 不支持
细粒度资源 为作业选择细粒度资源(如 0.5 CU/进程),避免资源浪费 支持 不完全支持
安全 安全隔离 多维度进行资源环境的隔离,确保租户间的数据安全 支持 不完全支持
空间隔离 租户独占网络空间、计算资源和存储资源,保证租户间的物理隔离 支持 不完全支持
进程隔离 作业进程通过容器部署隔离,保证进程的稳定与安全 支持 不完全支持
访问控制 以腾讯云账号体系和 SAML 联合身份认证机制确保账号安全,并达成细粒度的权限控制 支持 不支持
账号体系 腾讯云账号体系打通,同时支持 SAML 联合身份认证 支持 不完全支持
细粒度权限 集群级别、作业级别的细粒度权限管理,满足多人协同开发需求 支持 不支持
目录