腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
6
回答
Kafka
Streams:
流式
计算
、
Kafka
Streams的特点和架构是什么?
Kafka
在0.10版本推出了
Stream
API,提供了对存储在
Kafka
内的数据进行
流式
处理和分析的能力。小白一名,各位大佬能给我解释一下
流式
计算
、
Kafka
Streams的特点和架构吗?谢谢!
浏览 2102
提问于2018-09-14
1
回答
如何在zeppelin中自动更新结构化流查询的%spark.sql结果
、
、
、
我正在对来自
kafka
的数据运行结构化
流式
处理(spark 2.1.0 with zeppelin 0.7),并尝试使用spark.sql可视化
流式
处理结果%spark2val inputstream = spark.readStream .option("
kafka
.bootstrap.servers.hdp.com:6667 ,n10.hdp.com:6667
浏览 4
提问于2017-07-13
得票数 6
1
回答
使用Logstash grok过滤
Kafka
JSON消息
、
、
、
我尝试只为德国(DE)过滤
kafka
json消息。要做到这一点,我必须编写一个grok表达式。有没有人能帮我写一个json的grok模式?下面是我的logstash.conf的样子:
kafka
{topics => [ "test" ] auto_offset_reset => "earliest" } }
浏览 3
提问于2017-11-11
得票数 0
1
回答
旋转一个流数据帧pyspark
、
、
、
、
我有一个来自
kafka
的
流式
数据帧,我需要旋转两列。writeStream \ .format("memory") \ .start() spark.sql("select * from
stream
").show(20, F
浏览 16
提问于2021-07-14
得票数 1
回答已采纳
1
回答
如何合并/连接两个jdbc接收器连接器转换?
、
、
、
我熟悉一些基本的转换,例如: transforms=myTransform transforms.myTransform.type:org.apache.
kafka
.connect.transforms.InsertField
浏览 11
提问于2020-09-28
得票数 0
1
回答
使用Apache
Kafka
流解析JSON数据
、
、
我有一个从我的
Kafka
主题中读取JSON数据的场景,通过使用
Kafka
0.11版本,我需要编写Java代码来
流式
传输
Kafka
topic.My输入中的JSON数据,其中包含字典数组。现在我的需求是从json数据中获取包含在数组中的字典中的" text“字段,并通过
Kafka
流将所有这些文本tweet传递给另一个主题。final Serializer<JsonNode> jsonSerializ
浏览 1
提问于2018-05-25
得票数 3
回答已采纳
1
回答
生产者中的数据流解读与卡夫卡主题的推进
、
、
、
、
但是,我的目标是在服务器上读取数据,在Producer中收听流,然后发送给
Kafka
主题。任何帮助都将不胜感激。
浏览 0
提问于2017-06-20
得票数 2
2
回答
异常:只能在
流式
数据集/DataFrame上调用“writeStream”
、
、
checkpointPath)但我得到以下异常: org.apache.spark.sql.AnalysisException:'writeStream‘只能在
流式
数据集
浏览 0
提问于2018-07-19
得票数 8
1
回答
如何使用
Kafka
Streams/Connect保持MySQL数据库与HBASE同步?
、
、
我想同步HBASE数据库作为由MySQL产生的更新触发器与
Kafka
Streams或
Kafka
连接的帮助。关于它的可能性和它是如何实现的,有什么建议吗?
浏览 22
提问于2019-11-27
得票数 0
1
回答
Rest数据摄取到数据湖
、
、
将数据加载到
kafka
主题中,不重复
浏览 0
提问于2018-01-30
得票数 1
1
回答
对于azure提供的实时流,我必须使用azure的哪个服务?
、
、
、
、
我正在尝试用Azure做实时分析,当我通过服务时,我已经看到Azure提供的三个服务是HDInsight(
Kafka
),Azure
stream
Analytics和Azure Events hub我必须使用哪些服务我正在尝试从SQL服务器或twitter或其他地方实时
流式
传输数据,并将其存储在Azure数据仓库或data Lake中。
浏览 1
提问于2019-07-11
得票数 0
1
回答
来自流主题(Json格式)的新流,没有任何数据
我在Json中有一个有50个字段的
流式
主题。我尝试使用主题中的KSQL创建另一个包含1个字段的流,如下所示: create
stream
data (timeGMT string) with (
kafka
_topic='json_data', value_format
浏览 0
提问于2019-01-24
得票数 0
0
回答
使用Spring Cloud
Stream
Kafka
计算
接收到的事件数据的聚合
、
、
我刚刚开始使用Spring Cloud
Stream
Kafka
。然后,
计算
出的聚合将通过请求-响应层在UI中提供。我想知道Spring cloud
stream
和/或
Kafka
中是否支持聚合。我也在考虑将数据从
Kaf
浏览 5
提问于2017-01-06
得票数 0
1
回答
有没有办法在
Kafka
流中的`foreachBatch`函数中传入一个额外的/额外的参数?
、
、
def write_
stream
_batches(
kafka
_df: DataFrame,table_config):
kafka
_df.writeStreamtraceback.print_exc() sys.exit(1) 方法write_
stream
_batches正在接收来自
kafka
的
流式
浏览 41
提问于2021-10-19
得票数 1
1
回答
不发送content-length头部的Node中流数据
、
、
、
、
我有这个函数,可以
流式
传输缓冲的数据: console.log('Put Objects Chunk'); read() {}
stream
.push(' data');
stream<
浏览 1
提问于2019-08-14
得票数 0
2
回答
Python对不同
Kafka
分区的产生
、
、
我正在尝试以经典的Twitter流媒体为例来学习
Kafka
。我正在尝试使用我的制作人基于2个过滤器将twitter数据
流式
传输到同一主题的不同分区。topic_name, value=data) print(error) twitter_
stream
.filter(track=[&quo
浏览 37
提问于2020-09-11
得票数 0
回答已采纳
1
回答
春云流Elmhrust.RELEASE无法改变Serde
假设我的通道是pcin,我理解我应该使用折叠属性spring.cloud.
stream
.
kafka
.streams.bindings.pcin.producer.valueSerde和spring.cloud.
stream
.
kafka
.streams.bindings.pcin.producer.keySerde(页面访问),而是
计算
每次访问的时间之和。=org.apache.
kafka
.common.serialization.Serdes$StringSerde spring.clo
浏览 1
提问于2018-04-18
得票数 0
回答已采纳
2
回答
?> @StreamListener进程(KStream<?,Spring流)分区
、
我有一个主题,在我的流处理器中有多个分区,我只想从一个分区中
流式
传输它,并且可以弄清楚如何配置它spring.cloud.
stream
.bindings.input.destination=uinputspring.cloud.<
浏览 1
提问于2019-02-16
得票数 0
1
回答
谷歌数据流PCollection连接
、
我们从
KAFKA
中
流式
传输数据,并将其存储到google Bigtable。 PCollection<String> ids = pipeline.apply(KafkaIO.
浏览 11
提问于2020-05-14
得票数 0
1
回答
通过MongoDB使用Storm bolt或Spark-streaming丰富数据
、
、
、
我想创建一个Storm Spout,它从Apache
Kafka
的主题中读取数据,并将这些数据发送到连接到MongoDB的Storm bolt,并查询我从
Kafka
收集的消息以丰富数据。例如:我有一个personID (我是通过
Kafka
发来的消息得到的),我想使用这个personID查询MongoDB中的个人地址。在我的MongoDB集合中,每个文档都有personID和地址。
浏览 0
提问于2018-04-18
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Kafka分布式流式处理平台
探寻流式计算
初探Kafka Streams
Kafka进阶
数据亲和架构-流式计算
热门
标签
更多标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
活动推荐
运营活动
广告
关闭
领券