腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
完全是一次为端
到
端
apache-flink
、
kafka-consumer-api
、
flink-streaming
我想知道是否有可能同时使用
Flink
实现端
到
端
的
精确语义?来源:
kafka
进程:
flink
接收器:数据库(mysql或
redis
)谢谢。
浏览 2
提问于2022-09-26
得票数 -1
1
回答
从
kafka
到
redis
的
flink
管道
java
、
redis
、
apache-kafka
、
apache-flink
我使用
flink
从
kafka
中读取并写入
到
redis
中。 为了测试,我只想阅读来自
kafka
的
前10条消息。public boolean isEndOfStream(String nextElement) {
浏览 21
提问于2019-02-13
得票数 2
回答已采纳
1
回答
如何在
Flink
中增加SinkFunction
的
numRecordsOutPut指标?
java
、
redis
、
apache-flink
我正在使用
flink
消费
kafka
并写入
redis
。下面是我对
redis
的
接收器函数: } .name("
redis</e
浏览 98
提问于2019-02-28
得票数 0
回答已采纳
1
回答
FlinkKafkaConsumer010在使用setStartFromTimestamp设置时不起作用
apache-kafka
、
apache-flink
、
flink-streaming
我使用
flink
流和
flink
-连接器-
kafka
来处理
kafka
的
数据。如果我停止我
的
flink
程序并重新启动它,它可以使用来自主题A
的
分区-0和分区-4
的
数据,但是如果我向其他4个分区发送数据,除非我再次重新启动我
的
flink
程序,它仍然不会使用其他4个分区
的
任何数据。>
flink
-connector-
kafka
-0.10_2.11&
浏览 6
提问于2020-04-15
得票数 0
回答已采纳
2
回答
为什么在
flink
中使用Thread.sleep显着地降低性能?
apache-flink
、
flink-streaming
、
thread-sleep
我们所做
的
就是开发风暴拓扑逻辑
到
flink
应用程序。在风暴拓扑螺栓中使用
的
是Thread.sleep(100),但在
flink
应用程序中,
flink
应用程序
的
性能并不好。下面是
Flink
并行性80
的
测试结果:
从
kafka
中消耗161073个数据,并在下一个任务中计算我们
的
业务逻辑,并将最后
的
接收器结果提交给文件。在Compute和
Redis
任务
浏览 13
提问于2022-01-19
得票数 0
1
回答
如何在
flink
作业之间共享状态?
apache-flink
、
flink-streaming
、
flink-cep
我
从
我
的
.jar文件运行多个作业。我想在我
的
工作之间共享状态。但是所有输入在每个作业中都会消耗(来自
kafka
),并生成重复
的
输出。我看到了
flink
面板。所有的工作‘记录发送’是3。我想必须拆分数字到我
的
工作。 我使用此命令创建作业 bin/
flink
run app.jar 我怎么才能修复它?
浏览 46
提问于2019-09-29
得票数 0
回答已采纳
1
回答
Flink
+
Kafka
重置检查点和偏移量
apache-kafka
、
kafka-consumer-api
、
apache-flink
、
flink-streaming
简而言之,我想从一开始就对
Kafka
中
的
数据重新运行
Flink
管道
。
Flink
0.10.2,
Kafka
0.8.2。我在
Kafka
中有一个保持2小时
的
tweet话题,在
Flink
中有一个
管道
,每10小时就有一个5分钟
的
滑动窗口来计算tweet。如果我中断
管道
并重新运行它,我希望它重新读取旧
的
tweet,从而发出5分钟
的
tweet值。相反,它
浏览 0
提问于2016-02-20
得票数 3
1
回答
加入
Redis
streams
redis
、
stream
我对
Redis
streams非常感兴趣。(看起来有可能构建由append-log驱动
的
小型系统,如
Kafka
,但没有
Kafka
的
所有开销。)它看起来很简单,可以通过XADD访问日志/流,并使用日志/流中
的
条目。但是如果你想跨两个流加入呢?
Kafka
Streams、
Flink
、Spark等提供了这样做
的
方法。在
Redis
宇宙中有没有等价物? 如果不是,我想我只需要实现我自己
的
浏览 12
提问于2019-03-23
得票数 6
1
回答
Flink
在从检查点开始时无法恢复
kafka
使用者
的
操作员状态
apache-kafka
、
apache-flink
、
flink-streaming
我们有一个流作业,它有20个独立
的
管道
,每个
管道
都有一个/多个
Kafka
主题源。当我们使用一个新jar (我又添加了一个
管道
)和AllowNonRestoredState=true重新启动作业时,我们注意
到
从
检查点恢复Operatorstate
的
奇怪行为。卡夫卡
的
一些源操作符无法用日志org.apache.
flink
.streaming.connectors.
kafka
.FlinkKafk
浏览 2
提问于2022-03-08
得票数 1
回答已采纳
1
回答
apache
flink
可以保存到数据库,然后以容错
的
方式发布
到
kafka
吗?
apache-flink
apache
flink
可以保存到数据库,然后以容错
的
方式发布
到
kafka
吗?如果发布
到
kafka
失败,则不应保存到数据库或恢复发布。我们可以在这种情况下使用
flink
吗?
浏览 7
提问于2020-03-20
得票数 0
2
回答
如何高效地将
flink
流水线中
的
数据写入
redis
redis
、
apache-flink
、
flink-streaming
、
backpressure
、
flink-sql
我正在Apache
flink
sql api中构建一个
管道
。
管道
执行简单
的
投影查询。但是,我需要在查询之前编写一次元组(确切地说是每个元组中
的
一些元素),并在查询之后编写另一次。事实证明,我用来编写
redis
的
代码严重降低了性能。也就是说,
flink
在非常小
的
数据率下产生背压。我
的
代码出了什么问题,我该如何改进。有什么建议请告诉我。当我停止给
redis
写信之前和之后
的
表演都很棒。
浏览 85
提问于2018-12-27
得票数 0
回答已采纳
4
回答
从
Redis
读取数据
到
Flink
redis
、
apache-flink
、
flink-streaming
我一直在尝试寻找一个
从
Redis
读取数据
到
Flink
的
连接器。
Flink
的
文档包含要写入
Redis
的
连接器
的
描述。我需要在我
的
Flink
工作中
从
Redis
读取数据。在Using Apache
Flink
for data streaming中,法比安提到了
从
Redis
读取数据是可能
的<
浏览 54
提问于2017-05-26
得票数 1
回答已采纳
1
回答
在执行纱线应用程序杀死并再次运行后,
flink
是否会从上一次偏移恢复?
apache-kafka
、
apache-flink
、
checkpoint
我使用FlinkKafkaConsumer来使用
kafka
并启用检查点。现在,我对偏移管理和检查点机制有点困惑。我已经知道
flink
将开始
从
使用者组
的
. https://ci.apache.org/projects/
flink
/
flink
-docs-stable/dev/connectors/
kafka
.html#
kafka
-consumers-start-position
浏览 6
提问于2019-11-04
得票数 2
回答已采纳
1
回答
如何使用数据流并行读取pubsub源文件
google-cloud-dataflow
、
google-cloud-pubsub
我是一个非常新
的
数据流,我希望建立
管道
,将使用pubsub作为源。我曾经在流水线上工作过,它以
flink
为流引擎,
kafka
为源,因为我们可以在
flink
中设置并行性,以便
从
kafka
读取消息,这样消息处理可以并行进行,而不是顺序进行。
浏览 2
提问于2019-03-26
得票数 0
1
回答
使用Apache
Flink
进行数据流
apache-flink
、
flink-streaming
我正在构建一个要求低于要求
的
应用程序,我刚刚开始使用
flink
。摄入卡夫卡
的
数据,比如50个分区(输入速率- 100,000毫希/秒) 将输出存储在Cassandra上我是否需要在google数据流中编写数据
管道
来执行
flink
上
的
步骤序列,还是有其他方法来执行实时流
的
步骤序列?假设我
的
每一次计算花费大
浏览 2
提问于2016-06-10
得票数 3
1
回答
同一
Kafka
主题
的
多个
Flink
管道
apache-kafka
、
apache-flink
背景时不时地,我们
的
Flink
不能处理突发信息。(预算原因$$$)为此,一种方法是向
Flink
集群添加/删除节点,并更改
Flink
管道
操作符
的
并行度。如果我们使用常规
的
Kafka
用户,那么就像添
浏览 27
提问于2019-11-14
得票数 1
2
回答
正在进行
的
快照太多。增加
kafka
生产者池大小或减少并发检查点数量
java
、
kubernetes
、
apache-kafka
、
apache-flink
、
checkpointing
我正在开发一个沉入
Kafka
的
Flink
应用程序。我创建了一个默认池大小为5
的
Kafka
生产者。这是
kafka
生产者池大小或检查点
的
问题吗?.java:934) at org.apach
浏览 7
提问于2020-03-21
得票数 1
1
回答
Flink
1.2.0 jdbc
从
Mysql读取流数据
java
、
mysql
、
jdbc
、
apache-flink
、
flink-streaming
我正在尝试使用
Flink
2.1.0
从
mysql日志表中读取流数据,但是,它只读取一次,然后它将停止该过程。我希望它继续读取,如果有传入
的
数据,并打印它。以下是我
的
代码09:15:56,406 INFO org.apache.
flink
.runtime.client.JobCl
浏览 72
提问于2017-02-22
得票数 2
2
回答
Apache光束-
Flink
runner - FileIO.write - S3写入中
的
问题
apache-flink
、
apache-beam
、
apache-beam-io
我目前正在开发一个光束
管道
(2.23) (
Flink
runner - 1.8),我们
从
Kafka
读取JSON事件,并将拼图格式
的
输出写入S3。 我们每隔10分钟就会给S3写一封信。我们观察
到
,我们
的
流水线有时会在进行了微小
的
不中断代码更改并部署流水线后停止写入S3,如果我们更改
kafka
偏移量并重新启动流水线,它会再次开始写入S3。水印在该阶段也不会进展,它会显示
管道
停止部署时
的
水印(保存点时间)
浏览 2
提问于2021-02-22
得票数 0
1
回答
当并行度大于1时,
Flink
不转发
Kafka
度量
apache-kafka
、
apache-flink
我有一个
Flink
的
工作,
从
卡夫卡(0.9版),并写信给雷迪斯。我希望监控由
Flink
应该能够转发
的
由
Kafka
发出
的
records-consumed-rate和records-lag-max度量。当我以1
的
并行度开始作业时,我看到这个度量很好地发出。但是,如果我使并行度大于1,则不再转发此度量。作业在并行度>1时运行,因为我可以看到条目正在写入
Redis
。每个卡夫卡消费者都使用相同
的
group.id和唯一<e
浏览 0
提问于2019-04-18
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
《从0到1学习Flink》——Flink 写入数据到 Kafka
Flink快速入门
管道检测机器人的适用范围:从排水管道到石油输送管道全方位覆盖
从Storm到Flink:大数据处理的开源系统及编程模型
Netflix基于Redis、Kafka和Elasticsearch构建高吞吐优先队列Timesone
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券