首页标签流计算服务

#流计算服务

弹性伸缩、安全可靠的 Elasticsearch 服务,助力海量数据搜索与分析

Flink自定义OSS的Sink

平常心

基于上篇说明的OSS异常内容和功能弱的缘故,考虑自定义Sink处理的方式。主要关注点是文件命名的动态化和高效批写入。

5420

Flink实时kafka数据写入OSS异常总结

平常心

目前想把kafka json格式的埋点数据写入OSS存储,但是参考官网文档出现很多异常内容,总结如下:

12260

Flink SQL Client综合实战

程序员欣宸

在《Flink SQL Client初探》一文中,我们体验了Flink SQL Client的基本功能,今天来通过实战更深入学习和体验Flink SQL;

13220

14.上-Dispoatch接收jobGraph-启动jobMaster

wangyk

这次就是为了看下图的第三步, 其实也看完了, 但是想把第三步和第四步结合起来, 所以是14上

8600

Flink开始了么?

wangyk

一个月了, 我看了很多flink源码. 看的懵逼. 我要把各种傻逼的东西写下来. as a road.

12400

大数据入门:Flink状态编程与容错机制

成都加米谷大数据

在大数据技术发展历程当中,Flink框架可以说是新一轮的热点技术框架,主打流批一体的计算模式,成为更适应当下需求的技术框架,因此再也技术领域得到更多的重视。今天...

8720

大数据入门:Flink核心概念详解

成都加米谷大数据

在流式计算越来越受到主流青睐的市场状况下,流式计算框架技术的掌握,正在成为大数据学习当中的重要部分。以Flink框架来说,作为新一代的流计算框架,越来越多地出现...

16920

Flink SQL 自定义函数指南 - 以读取 GBK 编码的数据库为例

KyleMeow

腾讯云 · 工程师 (已认证)

近期我们遇到了一位客户提出的问题:MySQL 建表时,数据库表定义的字符集是 latin1,里面的数据是以 GBK 编码的方式写入的。当 Flink 的 JDB...

40160

数仓大法好!跨境电商 Shopee 的实时数仓之路

大数据学习与分享

Shopee 是东南亚与台湾领航电商平台,覆盖新加坡、马来西亚、菲律宾、台湾、印度尼西亚、泰国及越南七大市场,同时在中国深圳、上海和香港设立跨境业务办公室。

25700

菜鸟供应链实时数仓的架构演进及应用场景

大数据学习与分享

首先从三个方面简要介绍一下菜鸟早在 2016 年采用的实时数据技术架构:数据模型、实时计算和数据服务。

10900

流密码安全性证明

安包

证明思路:先证左上约等于右上,再证右上约等于右下,再证右下约等于左下,所以左上约等于左下。

20220

【CPP】栈,后缀表达式与计算

ZifengHuang

我们平时计算时列的计算式叫做中缀表达式,即运算符放在两个运算数中间的计算式(例:1+1)。但是,这样的式子计算机并不能很好的理解,在遇到有括号加入时就会...

15120

实时应用程序中checkpoint语义以及获取最新offset

大数据学习与分享

对于流式应用程序,保证应用7*24小时的稳定运行,是非常必要的。因此对于计算引擎,要求必须能够适应与应用程序逻辑本身无关的问题(比如driver应用失败重启、网...

19540

DataHub——实时数据治理平台

用户6070864

首先,阿里云也有一款名为DataHub的产品,是一个流式处理平台,本文所述DataHub与其无关。

1.9K20

一次 Javac 编译速度缓慢的 JDK Bug 定位

KyleMeow

腾讯云 · 工程师 (已认证)

Flink 提供了从 Tuple0 ~ Tuple25 的 Tuple 类供用户选择,顾名思义,每个 Tuple 对象分别可以存储 0 个 ~ 25 个任意类型...

37540

Flink on RocksDB 参数调优指南

KyleMeow

腾讯云 · 工程师 (已认证)

对于需要保存超大状态(远超于内存容量)的流计算场景来说,目前 RocksDB [1] 是 Flink 平台上官方实现的唯一选择。业界也有使用 Redis 等其他...

4.4K50

主用户为子用户添加流计算 Oceanus 授权策略指南

KyleMeow

腾讯云 · 工程师 (已认证)

流计算 Oceanus 的云 API 已经启用 CAM 服务级鉴权。默认情况下,所有主账号(也成为主用户)均有 QcloudOceanusFullAccess ...

31120

Spill-able Heap Keyed State Backend 设计概览

KyleMeow

腾讯云 · 工程师 (已认证)

Flink 在流式数据处理方面的能力非常强大,尤其值得一提的是它对带状态的流计算作业的支持度。它支持 Operator 和 Keyed 两类状态存储结构,其中后...

46133

腾讯基于 Flink 的实时流计算平台演进之路

大数据技术与架构

18 年下半年,我们的 Oceanus 平台已经有足够的能力来构建常见的流计算应用,我们部门内部的一些实时流计算业务也已经在平台上稳定运行,于是我们开始为腾讯云...

54320

在流式模型和分布式模型中实现最优矩估计

罗大琦

摘要:数据流模型中最古老的问题之一是近似第p个矩∥X∥pp=Σni= 1 | Xi | pof基础向量X∈Rn,它表示为poly(n)更新的序列。坐标。特别感兴...

17330

扫码关注云+社区

领取腾讯云代金券