腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
如
何在
flink
中
设置
kafka
committedOffset
?
java
、
apache-kafka
、
apache-flink
我已经通过以下方式
设置
了提交的偏移量: properties.setProperty("auto.commit.interval.ms", "1000"); "mobile-event.page-resource", SCHEMA, properties); 但在web UI
中
,
浏览 29
提问于2019-03-05
得票数 0
回答已采纳
1
回答
使用Apache Spark/Apache
Flink
进行缩放
apache-spark
、
apache-kafka
、
apache-flink
我计划了一个从Apache读取的应用程序,经过(可能耗时的)处理后,将数据保存到数据库
中
。我的例子是消息,而不是流,但为了可伸缩性,我正在考虑将其插入Spark或
Flink
,但无法理解这些扩展:我的应用程序,当Spark/
Flink
的一部分读取了
Kafka
的一些数据,然后退出或继续阅读吗?那么,Spark/
Flink
将如何决定他们必须生成更多的我的应用程序实例来提高吞吐量呢? 谢谢!
浏览 4
提问于2017-09-20
得票数 0
回答已采纳
1
回答
测试
kafka
和
flink
集成流程
scala
、
apache-kafka
、
integration-testing
、
apache-flink
例如,我想测试卡夫卡/
Flink
与FlinkKafkaConsumer011和FlinkKafkaProducer011的集成。这一进程将是: 对于一个字符串示例,它将是,从输入主题读取字符串,转换为大写,写入一个新主题。
浏览 0
提问于2018-04-16
得票数 3
1
回答
我的自定义
flink
度量报告不工作
apache-flink
、
flink-streaming
使用
flink
版本1.13.1metrics.reporter.
kafka
.factory.class: org.apache.
flink
.metrics.
ka
浏览 10
提问于2021-08-25
得票数 2
回答已采纳
1
回答
流在Hadoop
中
的应用
hadoop
、
spark-streaming
、
apache-flink
、
flink-streaming
、
flink-cep
在这个例子
中
,我确实看到他们创建了一个单独的应用程序(类似于流应用程序),该应用程序生成和消费数据,并在数据上应用模式匹配。他们现在还没有在.Till(
如
卡夫卡)之间放置一个流层,单应用程序就足以满足这一目的,这使得它非常优化。现在,我知道,如果我使用
Kafka
,那么我需要两个应用程序;一个用于将数据摄取到
Kafka
主题中,另一个用于消费
Kafka
主题的数据。我有几个问题我没有得到回答: 什么时候?
浏览 2
提问于2016-06-13
得票数 0
2
回答
Apache
Flink
: Python流API
中
的
Kafka
连接器,“无法加载用户类”
python
、
apache-kafka
、
apache-flink
、
flink-streaming
、
pyflink
/
flink
-1.6.1/bin/pyflink-stream.sh examples/read_from_
kafka
.py运行我的脚本。python脚本相当简单,我只是尝试使用现有主题中的内容,并将所有内容发送到标准输出(或日志目录
中
的*.out文件,默认情况下,输出方法将在该文件中发出数据)。jar文件,即
flink
-connector-
kafka
-0.9_2.11-1.6.1.jar、
flink
-connector-
kafka</em
浏览 0
提问于2018-10-10
得票数 4
1
回答
Flink
检查点持续失败(等待InitProducerId时超时)
apache-kafka
、
apache-flink
Flink
中
的每个检查点都由于超时而失败,在作业的异常部分
中
,它会显示以下错误,但是作业本身并没有失败:当禁用检查点时,有关
Kafka
的一切都
如
预期的那样工作,所以我的假设是,它可能与等待
Kafka
提交以便被确认的检查点有关(Sema
浏览 19
提问于2020-09-24
得票数 2
回答已采纳
1
回答
我应该以什么二进制格式向德鲁伊( FlinkKafkaProducer[<Scala case class>]发送事件)吞食卡夫卡主题?
scala
、
apache-kafka
、
apache-flink
、
flink-streaming
、
druid
即:
Flink
1.8 -> (宁静,正式支持Druid0.9.2) -> Druid 0.20.1 未来:
Flink
1.11 ->
Kafka
-> Druid 0.20.1使用推荐的.
Flink
应用程序生成Scala类的DataStream (在下面的代码
中
为ExampleData)。根据,Scala类属于“
Flink
提供的特殊序列化器”,但我不确定它是如何被序列化的,因此当Druid从
Kafka
主题读取它时,它是如何被反序列化的(
浏览 5
提问于2021-08-06
得票数 0
回答已采纳
1
回答
Flink
(关于码头)使用
Kafka
(关于码头)的数据
docker
、
apache-kafka
、
apache-flink
我有
Flink
(任务经理和作业经理)和
Kafka
作为码头图像运行在我的mac上。org.apache.
flink
.runtime.JobException: 1 <
浏览 1
提问于2021-11-23
得票数 1
回答已采纳
1
回答
如何将
Flink
连接到Druid?
apache-kafka
、
apache-flink
、
druid
我在试着把
Flink
和德鲁伊联系起来。 然而,我不知道如何正确地做它。在这个
Flink
documentation
中
,“bootstrap.servers”被
设置
为“localhost:9092”。这是否意味着我可以使用Apache
Kafka
ingestion直接连接,因为下面
设置
了示例supervisor规范?"consumerProperties": { "bootstrap.servers": "localhost:
浏览 130
提问于2020-08-12
得票数 0
1
回答
从另一个容器
中
的
flink
作业写入码头容器
中
的
kafka
主题
docker
、
apache-kafka
、
apache-flink
、
docker-networking
我正在努力学习
Flink
,Docker和
Kafka
,所以我正在尝试
设置
一个简单的虚拟
设置
,让
Flink
和
Kafka
从不同的容器中进行通信。我有一个
flink
作业,目前只是scala
中
欺诈检测示例的精简版本。我在一个虚拟机上运行了
Kafka
和
Flink
,所以这里唯一相关的部分可能是引导服务器。"
flink
:latest taskmanager启动任务管理器 目前,我启动
kafka<
浏览 1
提问于2021-09-10
得票数 1
回答已采纳
1
回答
在
Flink
集群上找不到FlinkKafkaConsumer011
scala
、
apache-flink
、
flink-streaming
/coint.jarjava.lang.NoClassDefFoundError: org/apache/
flink
/streaming/connectors/
kafka
/FlinkKafkaConsumer011) Caused by: java.lang.ClassNotFoundException: org.apache.
flink
.streaming.connectors.
kafka
.FlinkKafkaConsume
浏览 1
提问于2018-07-23
得票数 1
回答已采纳
2
回答
flink
kafka
消费者groupId不起作用
apache-kafka
、
apache-flink
我用的是卡夫卡和
flink
。在一个简单的程序
中
,我使用
flink
FlinkKafkaConsumer09,将组id分配给它。我认为这应该是这样的:如果向
Kafka
发送2条消息,那么
flink
程序
中
的每条或一条将处理这2条消息完全两次(假设总共有2行输出)。1>
Kafka
and
Flink
2 says: element-65 2>
Kafka
and
浏览 10
提问于2016-07-28
得票数 6
回答已采纳
1
回答
Flink
kafka
消费者从特定分区获取消息
apache-kafka
、
apache-flink
、
flink-streaming
我们希望在读取来自
kafka
的消息时实现并行性。因此,我们希望在flinkkafkaconsumer中指定分区编号。它将读取
kafka
中所有分区的消息,而不是特定的分区号。
浏览 139
提问于2020-07-09
得票数 1
1
回答
当有消息写入
Kafka
主题时,FlinkKafakProducer的numRecordsOut总是显示0
apache-kafka
、
apache-flink
、
flink-streaming
我
设置
了一个
Flink
工作,向
Kafka
主题写一些消息。它使用FlinkKafakProducer作为接收器。我验证了输出
Kafka
主题中写入了消息,但
Flink
指标numRecordsOut始终显示0。同样,在
Flink
Web UI
中
,发送的字节也始终显示0B。
浏览 20
提问于2019-03-28
得票数 1
回答已采纳
5
回答
如何删除
Kafka
消费者组重置偏移量?
apache-kafka
、
apache-zookeeper
这是使用当前最新的Confluent平台3.1.2的单节点vm开发,该平台使用
Kafka
0.10.1.1。我尝试正常的语法: sudo /usr/bin/
kafka
-consumer-groups --new-consumer --bootstrap-server localhost:9092 --delete如果我尝试使用zookeeper变体: sudo /usr/bin/
kafka
-consumer-groups --zookeeper localhost:2181 --d
浏览 253
提问于2017-03-03
得票数 20
回答已采纳
1
回答
如何处理卡夫卡水槽
中
的异常?
apache-kafka
、
apache-flink
、
flink-streaming
我有一份
Flink
的工作,把数据写进卡夫卡。
Kafka
主题的最大消息大小
设置
为5MB,所以如果我尝试编写任何大于5MB的记录,它会抛出以下异常并将作业降低。message size the server will accept.at org.apache.
flin
浏览 1
提问于2018-09-13
得票数 1
回答已采纳
1
回答
导致KafkaException ByteArraySerializer的
Flink
Kafka
EXACTLY_ONCE不是序列化程序的实例
java
、
apache-kafka
、
apache-flink
、
exactly-once
因此,我正在尝试在我的
Flink
Kafka
流媒体作业
中
启用EXACTLY_ONCE语义以及检查点。/
flink
-end-to-end-tests/
flink
-streaming-
kafka
-test/src/main/java/org/apache/
flink
/streaming/
kafka
/test<init>(KafkaPro
浏览 73
提问于2020-06-19
得票数 8
2
回答
使用MirrorMaker
设置
Kafka
HA -如
何在
Flink
中
处理?
apache-kafka
、
apache-flink
、
flink-streaming
、
apache-kafka-mirrormaker
我们正在为
Kafka
设置
MirrorMaker 2.0。如果我没理解错的话,在复制集群
中
,主题偏移量是不相等的。这对于普通的
Kafka
应用程序来说不是问题,因为消费者群体也会被复制。
Flink
在状态内部存储
Kafka
偏移量-我认为在使用状态重新启动作业后,事情可能会出错。有没有办法
设置
Flink
,以便我们可以在复制的
Kafka
集群上从集群故障
中
恢复?
浏览 0
提问于2020-03-24
得票数 3
1
回答
Flink
SQL客户端连接到安全的
kafka
集群
apache-kafka
、
apache-flink
、
flink-sql
我想对
Flink
SQL表执行一个查询,该查询由安全的
kafka
集群的
kafka
主题支持。我能够以编程方式执行查询,但无法通过
Flink
SQL客户端执行。INT,`color` STRING) WITH('connector' = '
kafka
', 'topic' = 'test_
flink
10','scan.startup.mode' = 'earliest-offsetja
浏览 1
提问于2021-02-23
得票数 1
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
当Flink遇到Kafka-FlinkKafkaConsumer使用详解
基于Flink+Hive构建流批一体准实时数仓
Flink Checkpoint 原理流程以及常见失败原因分析
实时计算框架 Flink 在教育行业的应用实践
不惧流量持续上涨,BIGO 借助 Flink 与 Pulsar 打造实时消息系统
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券