学习
实践
活动
工具
TVP
写文章

#Flink

使用 NiFi、Kafka、Flink 和 DataFlow 进行简单的信用卡欺诈检测

大数据杂货铺

随着越来越多的人呆在家里,让我们的信用卡代步,网上购物正在兴起。不幸的是,与这一趋势保持同步的是信用卡欺诈的增加。

4220

通过 Flink SQL 使用 Hive 表丰富流

大数据杂货铺

流处理是通过在数据运动时对数据应用逻辑来创造商业价值。很多时候,这涉及组合数据源以丰富数据流。Flink SQL 执行此操作并将您应用于数据的任何函数的结果定向...

6710

Cloudera 流处理社区版(CSP-CE)入门

大数据杂货铺

Cloudera 在为流处理提供综合解决方案方面有着良好的记录。Cloudera 流处理 (CSP) 由 Apache Flink 和 Apache Kafka...

5210

实时即未来,大数据项目车联网之创建Flink实时计算子工程【二】

ChinaManor

8410

谈谈对Flink框架中容错机制及状态的一致性的理解

百思不得小赵

Flink 故障恢复机制的核心,就是应用状态的一致性检查点,有状态流应用的一致检查点,其实就是所有任务的状态,在某个时间点的一份拷贝(一份快照);这个时间点,应...

4610

结合案例总结Flink框架中的最底层API(ProcessFunction)用法

百思不得小赵

在之前总结的文章中有提到过,Flink框架提供了三层API完成流处理任务。至此已经学习了DataStream API ,ProcessFunction API ...

7030

聊聊Flink框架中的状态管理机制

百思不得小赵

在目前所有流式计算的场景中,将数据流的状态分为有状态和无状态两种类型。无状态指的就是无状态的计算观察每个独立的事件,并且只根据最后一个事件输出结果。举个栗子:一...

9140

Flink框架中的时间语义和Watermark(数据标记)

百思不得小赵

“时间”在我们日常的开发学习过程中是特别常见的一个名词,例如:Java中的日期处理类、获取系统的当前时间、毫秒级的时间戳等等。接下来让我们来看看在Flink框架...

7720

关于Flink框架窗口(window)函数最全解析

百思不得小赵

在真实的场景中数据流往往都是没有界限的,无休止的,就像是一个通道中水流持续不断地通过管道流向别处,这样显然是无法进行处理、计算的,那如何可以将没有界限的数据进行...

5920

Flink流处理API大合集:掌握所有flink流处理技术,看这一篇就够了

百思不得小赵

在之前的文章中有提到过,一个flink应用程序开发的步骤大致为五个步骤:构建执行环境、获取数据源、操作数据源、输出到外部系统、触发程序执行。由这五个模块组成了一...

8520

深入浅出总结Flink运行时架构

百思不得小赵

Flink 运行时架构主要包括四个不同的组件,它们会在运行流处理应用程序时协同工作:作业管理器(JobManager)、资源管理器(ResourceManage...

7820

如何构建、部署运行Flink程序

百思不得小赵

Flink程序一般的开发步骤 构建完成Flink程序之后就可以开发程序了,开发一个Flink程序的一般步骤:

12030

主流实时流处理计算框架Flink初体验

百思不得小赵

Apache Flink是由Apache软件基金会开发的开源流处理框架,其核心是用Java和Scala编写的分布式流数据流引擎。Flink以数据并行和流水线方式...

8420

Flink 基本工作原理

actionzhang

腾讯科技有限公司 · 后台开发 (已认证)

Flink是新的stream计算引擎,用java实现。既可以处理stream data也可以处理batch data,可以同时兼顾Spark以及Spark s...

7120

Flink之Watermark实践

actionzhang

腾讯科技有限公司 · 后台开发 (已认证)

我们知道实时计算中,数据时间比较敏感,有eventTime和processTime区分,一般来说eventTime是从原始的消息中提取过来的,processTi...

7720

简单实时计算方案(kafka+flink+druid/es)

actionzhang

腾讯科技有限公司 · 后台开发 (已认证)

    最近在从事实时方面的工作,主要涉及到数据处理、加工及可视化,在采坑的过程中总结出一套比较简单的实时计算方案,供大家参考。主要涉及到几个组件,kafka,...

5120

Flink实战(六) - Table API & SQL编程

JavaEdge

华为 · 软件开发工程师 (已认证)

Flink提供三层API。 每个API在简洁性和表达性之间提供不同的权衡,并针对不同的用例。

11220

Flink实战(八) - Streaming Connectors 编程

JavaEdge

华为 · 软件开发工程师 (已认证)

Flink内置了一些基本数据源和接收器,并且始终可用。该预定义的数据源包括文件,目录和插socket,并从集合和迭代器摄取数据。该预定义的数据接收器支持写入文件...

8420

Flink实战(八) - Streaming Connectors 编程

JavaEdge

华为 · 软件开发工程师 (已认证)

Flink内置了一些基本数据源和接收器,并且始终可用。该预定义的数据源包括文件,目录和插socket,并从集合和迭代器摄取数据。该预定义的数据接收器支持写入文件...

7620

Flink实战(四) - DataSet API编程

JavaEdge

华为 · 软件开发工程师 (已认证)

◆ DataSet API开发概述 ◆ 计数器 ◆ DataSource ◆ 分布式缓存 ◆ Transformation ◆ Sink

5330

扫码关注腾讯云开发者

领取腾讯云代金券