腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
Hadoop
可以做流媒体吗?
hadoop
、
apache-kafka
、
streaming
、
flume
、
stream-processing
有人建议
Hadoop
做流媒体,
并
引用了Flume和
Kafka
作为例子。 虽然我知道它们可能具有流媒体功能,但我想知道它们是否可以与Storm/Spark/
Flink
等流处理技术并驾齐驱。
Kafka
是一个“
发布
-订阅模型消息传递系统”,而Flume是一个
数据
摄取工具。即使它们与
hadoop
交互/集成,从技术上讲,它们是“
hadoop
”本身的一部分吗?
浏览 4
提问于2018-04-07
得票数 0
1
回答
Flink
从
Hadoop
读取
数据
并
发布
到
Kafka
apache-flink
、
flink-streaming
、
flink-batch
我需要从HDFS
读取
数据
并将其
发布
到
Kafka
主题。因为它们是DataSet和DataStream API的一部分,所以可以在一个工作中完成我想要做的事情吗?
浏览 34
提问于2020-04-29
得票数 0
回答已采纳
1
回答
Flink
1.2.0 jdbc
从
Mysql
读取
流
数据
java
、
mysql
、
jdbc
、
apache-flink
、
flink-streaming
我正在尝试使用
Flink
2.1.0
从
mysql日志表中
读取
流
数据
,但是,它只
读取
一次,然后它将停止该过程。我希望它继续
读取
,如果有传入的
数据
,
并
打印它。for Source: Custom Source (1$09:15:56,394 INFO org.apache.
flink
.core.fs.FileSystem- Terminate JobClie
浏览 72
提问于2017-02-22
得票数 2
2
回答
文件夹中的流式文件
hadoop
、
apache-kafka
、
kafka-consumer-api
、
apache-kafka-connect
我要把流媒体应用
从
flume转移到
kafka
。我有一台windows机器,在其上,由物联网传感器在特定位置(例如D:/Folder )连续生成CSV文件。我想把它转移到
hadoop
集群。 1)在传输日志文件之间是否需要
kafka
集群/代理,或者是否可以直接
从
windows机器传输到
hadoop
linux机器?2)是否可以在windows和
hadoop
linux机器上安装
kafka
,然后将CSV
浏览 4
提问于2017-12-26
得票数 0
2
回答
如何使用
Flink
读取
Postgresql中的表
postgresql
、
apache-flink
我想使用
Flink
对Postgresql中的
数据
进行一些分析。我应该如何和在哪里给出端口地址,用户名和密码。我正在尝试使用链接:中提到的表源。
浏览 0
提问于2018-06-21
得票数 1
回答已采纳
2
回答
使用HiveStorageHandler的
Kafka
生产者
hadoop
、
hive
、
apache-kafka
、
kafka-producer-api
我是hive/
hadoop
的新手现在,我正在尝试编写一个自定义的HiveStorageHandler实现,用于使用Hive Table查询和推送消息
到
Kafka
。我看到了HiveStorageHandler的其他实现,它允许我们使用hive表在NoSQL
数据
库上查询和写入。 在这里,他们试图使用hive表上的查询
从
Kafka
读取
数据
。我希望在<em
浏览 5
提问于2018-11-25
得票数 0
2
回答
如何使用
Flink
独立集群上
Flink
作业中的两个Kerberos键(对于
Kafka
和
Hadoop
)?
hadoop
、
apache-kafka
、
hdfs
、
apache-flink
、
flink-streaming
问题 如果不可能,在
Kafka
和HDFS都受到Kerb
浏览 0
提问于2018-05-02
得票数 5
回答已采纳
2
回答
我可以在同一个DataSet作业中使用
Flink
接口和DataStream接口吗?
apache-flink
、
flink-streaming
我正在使用
Flink
streaming
从
Kafka
读取
数据
并处理
数据
。在应用程序启动时使用
Kafka
之前,我需要使用DataSet应用程序接口
读取
一个文件,
并
根据一些标准对文件进行排序,然后根据它创建一个列表。然后开始以流媒体的方式
从
Kafka
消费。我已经编写了一个逻辑来使用DataSet API
从
文件中
读取
数据
并
对其进行排序
浏览 23
提问于2017-07-12
得票数 0
回答已采纳
3
回答
无法使用使用S3的S3接收器写入StreamExecutionEnvironment - Apache 1.1.4
amazon-web-services
、
hadoop
、
amazon-s3
、
aws-sdk
、
apache-flink
我已经创建了一个简单的Apache项目,它将从
Kafka
主题
读取
数据
并将
数据
写入S3桶。当我运行这个项目时,我没有收到任何错误,它成功地
读取
了卡夫卡主题中的每条消息,但是没有任何东西写到我的S3桶中。如果我尝试使用常规的批处理S3来生成
到
ExecutionEnviornment,它就能工作。\nUsage:
Kafka
--topic <topic> " + "--bootstrap.servers <
浏览 3
提问于2017-01-04
得票数 1
回答已采纳
1
回答
在执行纱线应用程序杀死并再次运行后,
flink
是否会从上一次偏移恢复?
apache-kafka
、
apache-flink
、
checkpoint
我使用FlinkKafkaConsumer来使用
kafka
并
启用检查点。现在,我对偏移管理和检查点机制有点困惑。我已经知道
flink
将开始
从
使用者组的. https://ci.apache.org/projects/
flink
/
flink
-docs-stable/dev/connectors/
kafka
.html#
kafka
-consumers-start-position
浏览 6
提问于2019-11-04
得票数 2
回答已采纳
1
回答
apache
flink
可以保存到
数据
库,然后以容错的方式
发布
到
kafka
吗?
apache-flink
apache
flink
可以保存到
数据
库,然后以容错的方式
发布
到
kafka
吗?如果
发布
到
kafka
失败,则不应保存到
数据
库或恢复
发布
。我们可以在这种情况下使用
flink
吗?
浏览 7
提问于2020-03-20
得票数 0
2
回答
从
Flink
1.3.2升级
到
1.4.0
hadoop
FileSystem和路径问题
apache-flink
、
avro
、
parquet
、
flink-streaming
最近,我尝试
从
Flink
1.3.2升级
到
1.4.0,我遇到了一些问题,无法再导入org.apache.
hadoop
.fs.{FileSystem, Path}。element.get(field) }).mkString("/") } 我注意
到
Flink
我甚至需要使用
Hadoop
依赖项,还是现
浏览 9
提问于2017-12-27
得票数 2
回答已采纳
1
回答
使用KeyedCoProcessFunction的
Flink
超时和FlinkKafkaConsumer的
读取
顺序
apache-kafka
、
apache-flink
、
flink-streaming
我正在使用
Flink
DataStream API中的DataStream类来实现像用例这样的超时。场景如下:我有一个输入
kafka
主题和一个输出
Kafka
主题,一个服务
从
输入主题
读取
它(在可变的时间内),然后在输出
kafka
主题中
发布
响应。现在要实现超时(必须使用
Flink
datastream ),我有一个
从
kafka
输入主题
读取
的FlinkKafkaConsumer,以及
从
<
浏览 1
提问于2020-09-15
得票数 0
回答已采纳
1
回答
如何
从
flink
访问/
读取
kafka
主题
数据
?
apache-flink
、
apache-kafka-connect
我试图阅读卡夫卡
数据
从
flink
和我是新的卡夫卡和
flink
,我不知道如何连接他们。
浏览 4
提问于2017-02-01
得票数 0
回答已采纳
1
回答
在
Flink
SQL作业中查询SQL Server
数据
库表时,为什么
Flink
SQL作业
从
正在运行变为已完成?
apache-flink
、
flink-sql
当我们在作为SQL Server
数据
库表的源的
Flink
SQL CLI中选择任何表时,为什么
Flink
作业在从
数据
库表中获取所有记录后“完成”?有没有可能让它“运行”,这样它就可以
从
数据
库表中获取最新的
数据
?
浏览 4
提问于2020-12-25
得票数 1
1
回答
流在
Hadoop
中的应用
hadoop
、
spark-streaming
、
apache-flink
、
flink-streaming
、
flink-cep
在这个例子中,我确实看到他们创建了一个单独的应用程序(类似于流应用程序),该应用程序生成和消费
数据
,并在
数据
上应用模式匹配。现在,我知道,如果我使用
Kafka
,那么我需要两个应用程序;一个用于将
数据
摄取到
Kafka
主题中,另一个用于消费
Kafka
主题的
数据
。我有几个问题我没有得到回答: 什么时候?在哪里需要流??参考
Flink
CEP的例子,我想知道流层(如<em
浏览 2
提问于2016-06-13
得票数 0
2
回答
如何将
数据
从
S3桶传输到
Kafka
amazon-web-services
、
amazon-s3
、
apache-kafka
有关于将
数据
从
Kafka
主题复制
到
S3的示例和文档,但是如何将
数据
从
S3复制
到
Kafka
?
浏览 0
提问于2019-04-03
得票数 9
1
回答
Flink
kafka
消费者
从
特定分区获取消息
apache-kafka
、
apache-flink
、
flink-streaming
我们希望在
读取
来自
kafka
的消息时实现并行性。因此,我们希望在flinkkafkaconsumer中指定分区编号。它将
读取
kafka
中所有分区的消息,而不是特定的分区号。
浏览 139
提问于2020-07-09
得票数 1
2
回答
使用
Kafka
将
数据
从
Kafka
迁移到HDFS3的开源解决方案是什么?
hadoop
、
apache-kafka
、
hdfs
、
apache-kafka-connect
除了汇合的HDFS库(非开源)之外,是否有任何完全开放的源代码库可以将消息
从
Kafka
(使用
Kafka
Connect)转移到HDFS 3?
Kafka
连接HDFS 2水槽-合流社区牌照
Kafka
Connect HDFS 3 Sink -合流企业许可证 相关:
浏览 1
提问于2021-05-05
得票数 0
回答已采纳
1
回答
针对
Kafka
使用者的主题和分区发现
scala
、
apache-kafka
、
apache-flink
、
kafka-consumer-api
我是
Flink
和
Kafka
的新手,有一些用Scala编写的
数据
聚合作业,这些作业在Apache
Flink
中运行,这些作业消耗
Kafka
中的
数据
,执行聚合并将结果返回给
Kafka
。我需要的作业,以消耗任何新的
Kafka
主题的
数据
,而作业正在运行,这是匹配的模式。FlinkKafkaConsumer011[String](Pattern.compile(“my-topic-start-.*”), new SimpleStringSche
浏览 10
提问于2021-05-06
得票数 1
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
《从0到1学习Flink》——Flink 写入数据到 Kafka
《从0到1学习Flink》——如何自定义 Data Source?
为什么BAT互联网都爱用kafka?看完你就知道了
当Flink遇到Kafka-FlinkKafkaConsumer使用详解
日处理数据量超10亿:友信金服基于Flink构建实时用户画像系统的实践
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券