首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

#flink

【赵渝强老师】基于ZooKeeper实现Hadoop HA

赵渝强老师

京东大学 · 大数据学院院长 (已认证)

由于在HA架构中包含的节点比较多,在进行实际部署的时候需要做好集群的规划。图14.9一共使用了4个节点来部署HDFS HA,它们分别是:bigdata112、b...

1200

电力行业数据湖技术方案Flink、Hudi、Hive on Spark案例全攻略记录及Hive查询MOR rt表异常修复

用户9421738

本文主要记录电力行业客户的数据湖技术方案实践案例,方案概括为基于FlinkSQL+Hudi流式入湖、同步表元数据到Hive,基于Hive catalog统一元数...

8610

Apache Doris Flink Connector 24.0.0 版本正式发布

SelectDB技术团队

亲爱的社区伙伴们,Apache Doris Flink Connector 24.0.0 版本已于 2024 年 9 月 5 日正式发布。该版本新增了对 Fli...

7610

​【赵渝强老师】大数据主从架构的单点故障

赵渝强老师

京东大学 · 大数据学院院长 (已认证)

大数据体系架构中的核心组件都是主从架构,即:存在一个主节点和多个从节点,从而组成一个分布式环境。下图为展示了大数据体系中主从架构的相关组件。

8100

【赵渝强老师】大数据生态圈中的组件

赵渝强老师

京东大学 · 大数据学院院长 (已认证)

大数据体系架构中的组件非常多,每个组件又属于不同的生态圈系统。从最早的Hadoop生态圈体系开始,逐步有了Spark生态圈体系和Flink生态圈体系。因此在学习...

12310

【赵渝强老师】大数据技术的理论基础

赵渝强老师

京东大学 · 大数据学院院长 (已认证)

大数据平台所要解决的问题是数据的存储和数据的计算,其核心思想采用的是分布式集群的思想。另一方面,分布式集群的思想在Google的技术系统中得到了很好的应用。因此...

15210

【赵渝强老师】基于Flink的流批一体架构

赵渝强老师

京东大学 · 大数据学院院长 (已认证)

由于Flink集成了批计算和流计算,因此可以使用Flink构建流批一体的系统架构,主要包含数据集成的流批一体架构、数仓架构的流批一体架构和数据湖的流批一体。

14210

【赵渝强老师】Flink生态圈组件

赵渝强老师

京东大学 · 大数据学院院长 (已认证)

Flink与Spark一样也是大数据计算引擎,可以完成离线的批处理计算和流处理计算。Flink的优势在它的流处理引擎DataStream。下图展示了Flink的...

12710

猫头虎分享 : Flink开发语言使用Java还是Scala合适?

猫头虎

Apache Flink 作为一个高性能、分布式流处理框架,近年来备受关注。而在使用Flink进行开发时,选择Java还是Scala,成为许多开发者的难题。本篇...

10610

Flink(arm) on K8S 部署时的那些坑

用户1529997

我对k8s还算了解,但在此之前没接触过flink,部署起来确实有点困难。本文记录在此过程中遇到的问题,以及问题原因和解决方案。

17210

【已解决】Flink连接JDBC报错 org.apache.flink.runtime.client.JobExecutionException: Job execution failed.

火之高兴

Flink1.13.6 MySQL5.7.27 JDK8 Hadoop3.1.4 集成环境Idea2020

18710

Flink-Checkpoint&State案例测试

火之高兴

将代码打包,上传至hadoop10 /opt/app/flink,jar; 执行命令运行jar包: [root@hadoop10 app]# flink r...

8310

【基于Flink的城市交通实时监控平台】需求一:卡口车辆超速情况检测

火之高兴

从kafka的topic-car中读取卡口数据,将超速车辆写入mysql的select * from t_speeding_info表,当通过卡口的车速超过60...

6710

【基于Flink的城市交通实时监控平台】需求二:卡口的实时拥堵情况-滑动窗口

火之高兴

卡口的实时拥堵情况,其实就是通过卡口的车辆平均车速和通过的车辆的数量,为了统计实时的平均车速,我设定一个滑动窗口,窗口长度是为5分钟,滑动步长为1分钟。

11110

【基于Flink的城市交通实时监控平台】需求三:实时车辆分布情况-滚动窗口-JSON解析为对象

火之高兴

实时车辆分布情况,是指在一段时间内(比如:10分钟)整个城市中每个区分布多少量车。这里要注意车辆的去重,因为在10分钟内一定会有很多的车,经过不同的卡口。这些车...

10210

【基于Flink的城市交通实时监控平台】需求四:车辆违法路径跟踪-使用FlinkSQL在Dlink写入HBase

火之高兴

通过Kafka发送模拟实时车辆JSON信息给Flink接收,FlinkSQL将实时车辆JSON信息与t_violation_list表中已经捕捉到的违规违章车辆...

8710

Flink面试题持续更新【2023-07-21】

火之高兴

默认情况下,如果未定义特定于作业的重启策略,则Flink会使用集群的默认重启策略。重启策略可以通过Flink的配置文件(flink-conf.yaml)进行配置...

6710

【Flink实时数仓】需求一:用户属性维表处理-Flink CDC 连接 MySQL 至 Hbase 实验及报错分析

火之高兴

这个代码是sql-client.sh中成功读取到MySQL插入的数据,此时在MySQL中对数据的操作即可通过FlinkCDC连接展示在此界面。

13610

Flink连接Hbase时的kafka报错:java.lang.NoClassDefFoundError: org/apache/kafka/common/utils/ThreadUtils

火之高兴

书接上文 【Flink实时数仓】需求一:用户属性维表处理-Flink CDC 连接 MySQL 至 Hbase 实验及报错分析http://t.csdn.cn/...

7410

【Flink实时数仓】需求二:用户事件信息宽表的构建 Kafka Hbase Flink

火之高兴

实时中的宽表其实是在退维,退维是数据处理中的一种操作,它是将细粒度的数据合并、归并为粗粒度数据的过程。在数据处理的过程中,原始数据往往包含大量的细节和细粒度信息...

14010
领券