相关内容
流计算 Oceanus
术语表,流计算服务委托授权,cam 访问管理,概述,create function,查询语句,insert 语句,上下游数据一览,查看集群信息,创建作业,查看作业信息,开发 sql 作业,查看作业日志信息,发布运行作业,暂停、继续、停止作业,查看作业 flink ui,配置作业监控告警,查看作业监控信息,程序包管理,了解 oceanus 独享集群,创建独享集群...
流计算 Oceanus
流计算 oceanus 是基于flink构建的云上全托管的实时计算服务。 您无须关注基础设施运维,通过云端一站式开发环境,轻松构建点击流分析、电商精准推荐、金融风控、物联网 iot 等应用。 流计算 简介 流计算 是位于云端的流式数据汇聚 计算服务 只需几分钟您就可以轻松构建网站点击流分析 电商精准推荐 物联网 等应用 流...
了解 Oceanus 独享集群
流计算 oceanus 目前提供基于独享集群的购买和部署模式,用户可以在自己的集群中运行各类作业,并进行相关资源管理。 说明: 基于流计算 oceanus 的这种架构模式,流计算 oceanus 访问用户 vpc 下的各类资源前,需要获得用户帐户的访问授权,详情请参见 流计算服务委托授权。 用户可以在 流计算控制台 创建自己的独享...

腾讯实时计算平台Oceanus建设实践
oceanus还研发了oceanus-ml来提高在线学习任务的开发效率。 oeanus-ml提供端到端的在线机器学习,涵盖数据接入,数据处理,特征工程,算法训练,模型评估,模型部署整个机器学习流程。 通过oceanus-ml,用户可以方便地利用完备的数据处理函数,丰富的在线学习算法来构建自己的在线学习任务,轻松地完成模型训练和评估...
《你问我答》第四期 | 进一步讲解SuperSQL、Oceanus以及Tbase
很多同学对这个项目产生了浓厚的兴趣 本期,我们的专家老师将现身说法进一步为大家介绍腾讯大数据sql引擎天穹supersql的性能表现 同时,也会解答小伙伴们关于 腾讯一站式实时计算平台oceanus 以及分布式 htap数据库管理系统tbase 的部分疑问 对这些话题感兴趣的同学就快来看看吧! 01 @旧故里草木深: supersql的性能...

Oceanus:基于Apache Flink的一站式实时计算平台
flink forward是由apache官方授权,用于介绍flink社区的最新动态、发展计划以及flink相关的生产实践经验的会议。 2018年12月20日,flink forward首次来到中国举办。 腾讯teg数据平台部参加了会议并在会上介绍了腾讯内部基于flink打造的一站式实时计算平台oceanus。 一、背景介绍 teg实时计算团队作为腾讯内部最大的...

Oceanus:基于Apache Flink的一站式实时计算平台
flink forward是由apache官方授权,用于介绍flink社区的最新动态、发展计划以及flink相关的生产实践经验的会议。 2018年12月20日,flink forward首次来到中国举办。 腾讯teg数据平台部参加了会议并在会上介绍了腾讯内部基于flink打造的一站式实时计算平台oceanus。 一、背景介绍 teg实时计算团队作为腾讯内部最大的...

Oceanus-ML:端到端的在线机器学习能力
导语丨oceanus平台在原本的streaming(流计算)场景上全新升级,新增支持ml(在线学习)场景。 本文将介绍oceanus-ml,端到端的在线机器学习能力。 用户可通过oceanus拖拽式画布及参数配置,高效搭建训练逻辑,轻松完成模型训练、评估以及部署整个流程。 背景介绍 从应用场景划分,流式应用主要可分为两种:一是实时...
Oceanus:美团点评HTTP流量定制化路由的实践
总第278篇2018年 第70篇背景oceanus是美团基础架构部研发的统一http服务治理框架,基于nginx和ngx_lua扩展,主要提供服务注册与发现、动态负载均衡、可视化管理、定制化路由、安全反扒、sessionid复用、熔断降级、一键截流和性能统计等功能。 本文主要讲述oceanus如何通过策略抽象、查询、渲染和分组动态更新...

Flink Forward 2019--实战相关(10)--Tencent公司分享Oceanus搭建
developing and operating real-time applications with oceanus--xiaogangshi(tencent)the tencent data team (data.qq.com) is responsible to build areliable and scalable infrastructure for various products at tencent includingtencent games,tencent video and wechat. we have to process over 1.6 ...
《你问我答》第二期 | 解答关于TubeMQ、TBase、Oceanus与数据湖的疑问
在olap场景,tpc-ds测试集,103个sql中,86%以上的sql均快于gp,甚至26%的sql上性能是gp的两倍以上。 我们tbase将会持续打磨性能,提高可靠性与易用性,打造一个更好,更快的数据库。 03 @{{username}}: oceanus为什么选择基于flink搭建,而不是storm? ? 施晓罡 腾讯大数据实时计算项目负责人。 毕业于北京大学...

主用户为子用户添加流计算 Oceanus 授权策略指南
默认情况下,所有主账号(也成为主用户)均有 qcloudoceanusfullaccess 策略,可以不用任何设置,正常使用流计算服务。 但是,所有子账号(也称为子用户)没有没有此策略,默认无权调用 oceanus 的云 api,甚至无法访问流计算的界面,如下图(因为前端的操作也是通过调用云 api 来实现的)。 15869496083389.png如果...
计费概述
产品定价使用流计算 oceanus 需购买独享集群,按集群包含的实际可用计算 cu 数计费,1个计算 cu 包含1核 cpu 与4gb内存。 与流计算 oceanus 搭配使用的消息队列、云数据库、日志服务、对象存储等产品,按照产品相关规定收费。 流计算 oceanus 独享集群各个地域的计算 cu 价格如下:地域价格(元cu月) 北京168.00 ...
Filesystem (HDFS/COS)
流计算 oceanus 写入 hdfs 的 user 是 flink。 进行配置前,您需要先导出 hadoop 集群的 hdfs-site.xml 文件,以获取下列配置中所需的参数值,导出方式可以查看 emr 说明文档。 hdfs 路径的形式为 hdfs:${dfs.nameserivces}${path},${dfs.nameserivces} 的值可在 hdfs-site.xml 中查找,${path} 为要写入的数据目录...
作业高级参数
示例配置 at least once 快照策略默认情况下,流计算 oceanus 使用 exactly-once 作为默认的快照策略,该策略可以确保作业崩溃恢复后,有最精确的状态一致性,但是少数情况下可能会造成较大延迟。 如果允许作业崩溃恢复时,一部分重复数据再次参与计算(造成短期的结果不精确),可以通过调整 flink 的快照策略为 at ...
查询作业配置
由于金融区和非金融区是隔离不互通的,因此当公共参数 region 为金融区地域(例如 ap-shanghai-fsi)时,需要同时指定带金融区地域的域名,最好和 region 的地域保持一致,例如:oceanus.ap-shanghai-fsi.tencentcloudapi.com。 推荐使用 api explorer 点击调试 api explorer 提供了在线调用、签名验证、sdk...
简介
全新的 api 接口文档更加规范和全面,统一的参数风格和公共错误码,统一的 sdkcli 版本与 api 文档严格一致,给您带来简单快捷的使用体验。 支持全地域就近接入让您更快连接腾讯云产品。 流计算 oceanus 是基于 apache flink 构建的位于云端的流式数据汇聚、计算服务,提供全托管的云上服务,您无需关注基础设施的...
公共参数
本产品取值为 oceanus; - signedheaders:参与签名计算的头部信息,content-type 和 host 为必选头部; - signature:签名摘要,计算过程详见 文档。 x-tc-tokenstring否临时证书所用的 token ,需要结合临时密钥一起使用。 临时密钥和 token 需要到访问管理服务调用接口获取。 长期密钥不需要 token。 假设用户想要...
请求结构
本产品就近地域接入域名为 oceanus.tencentcloudapi.com ,也支持指定地域域名访问,例如广州地域的域名为 oceanus.ap-guangzhou.tencentcloudapi.com 。 推荐使用就近地域接入域名。 根据调用接口时客户端所在位置,会自动解析到最近的某个具体地域的服务器。 例如在广州发起请求,会自动解析到广州的服务器,效果和...
新建作业
由于金融区和非金融区是隔离不互通的,因此当公共参数 region 为金融区地域(例如 ap-shanghai-fsi)时,需要同时指定带金融区地域的域名,最好和 region 的地域保持一致,例如:oceanus.ap-shanghai-fsi.tencentcloudapi.com。 推荐使用 api explorer 点击调试 api explorer 提供了在线调用、签名验证、sdk...