腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

最新最全的大数据技术体系

专栏作者

717

文章

538367

阅读量

33

订阅数

基于Flume+Kafka+Hbase+Flink+FineBI的实时综合案例(五)FineBI可视化

hbase kafka flink flume 可视化

官方文档：https://help.fanruan.com/finebi/doc-view-363.html

2023-10-22

2451

基于Flume+Kafka+Hbase+Flink+FineBI的实时综合案例(四)实时计算需求及技术方案

hbase kafka flink flume 实时计算

逆地理编码：https://lbsyun.baidu.com/index.php?title=webapi/guide/webservice-geocoding-abroad

2023-10-22

2460

基于Flume+Kafka+Hbase+Flink+FineBI的实时综合案例(三)离线分析

hbase kafka flink flume 数据

2023-10-17

2200

基于Flume+Kafka+Hbase+Flink+FineBI的实时综合案例(二)数据源

hbase kafka flink flume 数据

结果：生成模拟数据文件MOMO_DATA.dat，并且每条数据中字段分隔符为\001

2023-10-17

2110

基于Flume+Kafka+Hbase+Flink+FineBI的实时综合案例(一)案例需求

hbase kafka flink flume 索引

2023-10-17

2000

流数据湖平台Apache Paimon（三）Flink进阶使用

apache flink 数据湖数据性能

当Sorted Run数量较少时，Paimon writer 将在单独的线程中异步执行压缩，因此记录可以连续写入表中。然而，为了避免Sorted Runs的无限增长，当Sorted Run的数量达到阈值时，writer将不得不暂停写入。下表属性确定阈值。

2023-07-31

1.6K0

流数据湖平台Apache Paimon（二）集成 Flink 引擎

apache flink 数据湖配置同步

Paimon目前支持Flink 1.17, 1.16, 1.15 和 1.14。本课程使用Flink 1.17.0。

2023-07-31

1.8K0

实时即未来，大数据项目车联网之创建Flink实时计算子工程【二】

云计算 flink 大数据 jar maven

文章目录写在前面车联网项目全新升级创建Flink实时计算子工程 1 在原工程下创建实时分析子模块 2 导入实时分析子模块pom依赖 3 配置实时分析子模块资源文件创建Flink实时计算子工程 1 在原工程下创建实时分析子模块总工程结构设计 📷 创建StreamingAnalysis工程 📷 📷 设置打包类型为：jar 📷 2 导入实时分析子模块pom依赖略 l 工程包目录 📷 3 配置实时分析子模块资源文件 📷 conf.properties # mysql configura

2022-12-02

7810

实时即未来，车联网项目之原始终端数据实时ETL【二】

kafka 实时etl flink 大数据编程算法

文章目录 Flink 将报文解析后的数据推送到 kafka 中实时ETL开发原始数据的实时ETL设置开发的流程开发的类名 —— KafkaSourceDataTask 设置 checkpoint 中 statebackend 数据积压和反压机制抽象 BaseTask 用于处理数据流和读取kafka数据 Flink 将报文解析后的数据推送到 kafka 中步骤开启 kafka 集群 # 三台节点都要开启 kafka [root@node01 kafka]# bin/kafka-server-s

2022-09-27

5030

Flinkv1.13实现金融反诈骗案例

java flink 大数据网络安全

Apache Flink 提供了 DataStream API 来实现稳定可靠的、有状态的流处理应用程序。 Flink 支持对状态和时间的细粒度控制，以此来实现复杂的事件驱动数据处理系统。这个入门指导手册讲述了如何通过 Flink DataStream API 来实现一个有状态流处理程序。

2022-09-01

5820

Flink应用案例统计实现TopN的两种方式

php hashmap flink 大数据编程算法

窗口的计算处理，在实际应用中非常常见。对于一些比较复杂的需求，如果增量聚合函数无法满足，我们就需要考虑使用窗口处理函数这样的“大招”了。网站中一个非常经典的例子，就是实时统计一段时间内的热门 url。例如，需要统计最近 10 秒钟内最热门的两个 url 链接，并且每 5 秒钟更新一次。我们知道，这可以用一个滑动窗口来实现，而“热门度”一般可以直接用访问量来表示。于是就需要开滑动窗口收集 url 的访问数据，按照不同的 url 进行统计，而后汇总排序并最终输出前两名。这其实就是著名的“Top N” 问题。很显然，简单的增量聚合可以得到 url 链接的访问量，但是后续的排序输出 Top N 就很难实现了。所以接下来我们用窗口处理函数进行实现。

2022-06-30

9280

Flink史上最简单双十一实时分析案例

flink kafka 大数据云计算

上期带大家用StructredStreaming做了双十一实时报表分析,没看过的朋友可以看看,

2022-05-08

5960

2021年最新最全Flink系列教程_Flink快速入门(概述,安装部署)(一)(JianYi收藏)

flink 大数据数据结构 windows api

下面为大家带来阿里巴巴极度热推的Flink,实时数仓是未来的方向,学好Flink,月薪过万不是梦!!

2022-05-08

4360

今日指数项目之FlinkCEP介绍

flink 大数据数据分析实时监控

一个月内成交了2000万股，而该股票的流通股为1亿股，则该股票在这个月的换手率为20%。

2022-05-08

6220

学了1年大数据,来测测你大数据技术掌握程度?大数据综合复习之面试题15问（思维导图+问答库)

kafka flink 腾讯云开发者社区 hbase TDSQL MySQL 版

时隔一年,终于把主流的大数据组件全部学完了,学成之时,便是出师之日, 那为师便来考考你学的如何:

2021-12-30

3350

Flink最后一站___Flink数据写入Kafka+从Kafka存入Mysql

flink java 大数据 kafka 数据库

今天为大家带来Flink的一个综合应用案例:Flink数据写入Kafka+从Kafka存入Mysql 第一部分:写数据到kafka中

2021-12-07

1.2K0

2021年最新最全Flink系列教程__Flink综合案例(九)

flink sql hive 大数据 node.js

day09_综合案例今日目标 Flink FileSink 落地写入到 HDFS FlinkSQL 整合 Hive数据仓库订单自动好评综合案例 Flink FileSink 落地写入到 HDFS FlinkSQL 整合 Hive Flink实现订单自动好评问题 Streaming File sink 落地到 HDFS 上，无法正常写入到 HDFS 导入依赖，确定是否有问题确定 hdfs 服务启动 (); } } //在生产环境下，可以去查询相关的订单系统. //模拟给 orderI

2021-12-07

2480

Flink工作中常用__Kafka SourceAPI

kafka flink 大数据 node.js api

https://ci.apache.org/projects/flink/flink-docs-release-1.10/dev/connectors/index.html

2021-12-07

5030

2021年最新最全Flink系列教程__FlinkTable&SQL(六、七)

sql flink 大数据 api windows

day06-07_FlinkSQL&Table 今日目标了解Flink Table&SQL发展历史了解为什么要使用Table API & SQL 掌握Flink Table&SQL进行批处理开发掌握Flink Table&SQL进行流处理开发掌握常用的开发案例 Flink-SQL的常用算子 Flink Table & SQL FlinkTable & SQL 是抽象级别更高的操作，底层Flink Runtime => Stream 流程批处理是流处理的一种特殊形态 FlinkSQL

2021-12-07

1640

2021年最新最全Flink系列教程__Flink容错机制(五)

flink 大数据

day05_Flink容错机制今日目标 Flink容错机制之Checkpoint Flink容错机制之重启策略存储介质StateBackend Checkpoint 配置方式状态恢复和重启策略 Savepoint手动重启并恢复并行度设置 Flink状态管理状态就是基于 key 或者算子 operator 的中间结果 Flink state 分为两种： Managed state - 托管状态， Raw state - 原始状态 Managed state 分为两种： k

2021-12-07

2610

点击加载更多

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态