腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
2
回答
只捕捉到的有效载荷的CDC在火花结构化的
流
?
sql-server
、
apache-spark
、
pyspark
、
apache-kafka
、
cdc
为了捕捉Server中的数据更改,我尝试执行从Server到
Pyspark
的管道,我已经准备好了一切: 从SQL Server到
Kafka
进行生产,并
使用
Pyspark
结构化
流
中的
Kafka
主题。问题是:当我试图用控制台
使用
者检查数据更改是否经过
Kafka
时,它会向我显示
JSON
格式的
消息
,分为两个记录: Schema和Payload,以及Payload内部,在此之前和之后,分别给出
浏览 0
提问于2021-06-30
得票数 0
回答已采纳
1
回答
如何在spring中将对象
序列化
为
json
ad hoc
json
、
spring-boot
、
apache-kafka
我创建了一个Spring引导应用程序,它将
消息
发送到
Kafka
队列(
使用
spring集成
kafka
支持)。我想发送任意的
json
序列化
对象。有没有办法在我的spring boot应用程序中获得/注入
json
-de-/
序列化
程序?或者如何即席
反
/
序列化
一个对象? 应用
序列化
有哪些好的实践?
浏览 1
提问于2018-01-29
得票数 0
1
回答
Pyspark
结构化
流
处理
apache-spark
、
pyspark
、
spark-structured-streaming
我正在尝试用spark做一个结构化的流媒体应用程序,主要思想是从
kafka
源读取,处理输入,写回另一个主题。我已经成功地让spark读写了
kafka
,但是我的问题出在处理部分。我尝试过foreach函数来捕获每一行并在写回
kafka
之前对其进行处理,但是它总是只做foreach部分,而不会写回
kafka
。builder \.getOrCreate() .readStream \ .forma
浏览 37
提问于2019-07-17
得票数 0
回答已采纳
2
回答
使用
PySpark
流
反
序列化
Kafka
json
消息
python
、
json
、
apache-spark
、
deserialization
、
spark-streaming-kafka
我有一个
pyspark
应用程序,它
使用
来自
Kafka
主题的
消息
,这些
消息
由org.apache.
kafka
.connect.
json
.JsonConverter
序列化
。我
使用
confluent
Kafka
JDBC连接器来做这件事 问题是,当我
使用
消息
时,ID列以某种编码文本形式出现,例如"ARM=“,而它应该是数字类型。(ssc, ['mytopic'
浏览 20
提问于2019-03-09
得票数 1
回答已采纳
1
回答
卡夫卡的电火花印刷信息
python
、
apache-spark
、
pyspark
、
apache-kafka
我建立了一个由生产者和消费者组成的
kafka
系统,将
json
文件的行作为
消息
流
。
使用
pyspark
,我需要分析不同
流
窗口的数据。为了运行代码,我
使用
了容器。spark.ui.port=4040 --packages org.apache.spark:spark-streaming-
kafka
-0-8_2.11:2.0.0,com.datastax.spark:spark-cassandra-connector_2.11:2.0.0-
浏览 0
提问于2018-11-18
得票数 1
回答已采纳
3
回答
如何在星火
流
应用程序中
使用
Kafka
主题?
apache-spark
、
pyspark
、
apache-kafka
、
spark-streaming
当我从
Kafka
主题创建一个
流
并打印它的内容时 os.environ['
PYSPARK
_SUBMIT_ARGS'] = '--packages org.apache.spark:spark-streaming-
kafka
-0-8_2.11:2.0.2
pyspark
-shell' from
pyspark
.stre
浏览 2
提问于2019-12-08
得票数 1
回答已采纳
1
回答
有没有办法从
Kafka
消息
中读取任意
JSON
,并将任意
JSON
转发为同等内容的
Kafka
消息
?
java
、
apache-kafka
、
quarkus
我的意图是
使用
Java (更确切地说是Quarkus本机)从可配置
流
中将任意
Kafka
消息
内容读取为
JSON
,并将其持久化,然后
使用
初始
消息
中的内容将新
消息
写入另一个可配置
流
。所有这些都不需要对
JSON
内容进行反
序列化
,从而使其对应用程序所传递的内容不透明。当然,它可以是其他一些格式,比如Avro,但是只要我能够使代码与任何
流
中的任何内容一起工作,它仍然可以解决这个问题。 这样做的
浏览 1
提问于2021-07-14
得票数 0
回答已采纳
1
回答
PYSPARK
:为什么我在通过
pyspark
从
kafka
broker读取数据时出现键错误?
apache-spark
、
twitter
、
pyspark
、
spark-streaming
我正在从我的
Kafka
主题中读取twitter
流
,同时将其转换为
Pyspark
代码中的
JSON
,数据丢失。代码是从
Kafka
主题读取twitter
流
并转换为
JSON
格式。访问tweet‘’user‘时,在tweet获取
消息
的第一个字符时遇到键错误(索引必须是整数)。from __future__ import print_function import
json
from
pyspark
浏览 9
提问于2019-07-11
得票数 0
1
回答
在火花
流
/结构化
流
中阅读
Kafka
的avro
消息
pyspark
、
apache-kafka
、
spark-streaming
、
spark-structured-streaming
、
spark-streaming-kafka
我第一次
使用
火花放电。火花版本: 2.3.0卡夫卡版本: 2.2.0 我有一个卡夫卡生产者,它以avro格式发送嵌套数据,我正在尝试用火花
流
/结构化
流
写代码,这将反
序列化
从
kafka
到dataframe的avro,做转换,把它以拼花格式写成我能够在spark/scala中找到avro转换器,但是还没有增加对
pyspark
的支持。如何在火花放电中转换相同的内容。谢谢。
浏览 3
提问于2019-05-02
得票数 3
回答已采纳
1
回答
执行Spark streaming从
Kafka
主题读取数据时出错
windows
、
apache-spark
、
pyspark
、
apache-kafka
我已经通过
Kafka
生产者传递了
消息
,并试图在spark
流
中读取,但在main方法中遇到错误。代码如下所示。from
pyspark
.sql import SparkSessionfrom
pyspark
.streaming.
kafka
import KafkaUtils import <e
浏览 15
提问于2021-05-27
得票数 0
2
回答
如何在
pyspark
中从
kafka
中以字符串格式从Confluent Schema Registry获取Avro数据?
apache-spark
、
apache-kafka
、
avro
、
spark-structured-streaming
、
confluent-schema-registry
我正在从spark (结构化数据
流
)中读取
Kafka
中的数据,但在spark中从
kafka
中获取的数据不是字符串格式。/home/kinjalpatel/
kafka
_sppark.pyfrom
pyspark
import SparkContextfrom
pyspark
.sql.types impor
浏览 1
提问于2019-12-27
得票数 0
1
回答
卡夫卡的
pySpark
结构化
流
不输出到控制台进行调试。
python
、
apache-spark
、
pyspark
、
apache-kafka
、
spark-structured-streaming
我尝试了许多不同的选择变体,但应用程序运行,但没有显示
消息
,这些信息正在编写的每一秒。我有一个
使用
pprint()的星火
流
示例,它确认
kafka
实际上每秒钟都会收到
消息
。
Kafka
中的
消息
是
JSON
格式的,请参见字段/列标签的架构:from
pyspark
.sql.types import * import_ == "__m
浏览 6
提问于2019-12-31
得票数 4
回答已采纳
1
回答
使用
Protobuf核心
使用
.NET代理生成的
Kafka
中的Protobuf
序列化
日志
消息
apache-kafka
、
protobuf-net
、
open-telemetry
、
confluent-kafka-dotnet
我正在
使用
OpenTelemetry收集器代理将日志发送到
Kafka
流
层。我希望(目前)在.NET
Kafka
消费者中
使用
这些日志
消息
,但我遇到了一些问题。OTEL似乎
使用
了Protobuf
序列化
,这使得它有点棘手。注意:最终我想通过
Kafka
Connect将日志发送到Elasticsearch,但一步一步…… 首先,有没有可能让
JSON
使用
OpenTelemetry
序列化
?正如
浏览 24
提问于2021-11-17
得票数 0
1
回答
在Azure Databricks中反
序列化
事件中心
消息
azure
、
pyspark
、
azure-eventhub
、
databricks
、
spark-structured-streaming
我在Python中有一个Azure Databricks脚本,它
使用
结构化
流
从Event Hub读取
JSON
消息
,处理
消息
并将结果保存在Data Lake Store中。
消息
从Azure Logic App发送到Event Hub,该应用程序从Twitter API读取推文。 我正在尝试反
序列化
Event Hub
消息
的正文,以便对流程的内容进行排序。
消息
正文首先从二进制转换为字符串值,然后
使用
from_
jso
浏览 0
提问于2018-10-16
得票数 5
1
回答
如何获得由
Kafka
消费者(Alpakka)返回的Map [String,String]?
scala
、
apache-kafka
、
akka
、
alpakka
我成功地配置了
使用
者,它工作得很好,但我不知道如何才能得到Map。system: ActorSystem = ActorSystem() val consumerConfig = system.settings.config.getConfig("akka.
kafka
.consumer
浏览 4
提问于2020-08-17
得票数 0
1
回答
使用
kafka
作为外接程序的Heroku postgresql的火花
流
python
、
postgresql
、
heroku
、
pyspark
、
apache-kafka-streams
我正在尝试
使用
数据库中的
pyspark
从Heroku postgres数据库
流
,
使用
kafka
作为插件。下面有这样的代码,但是它连续运行,没有返回任何内容,也没有错误。我尝试在代码中添加触发器,但不知道要
使用
什么导入,因为我没有在网上找到它的包。.trigger(continuous="1 second")没有物理计划。等待数据。{“
消息
”:“初始化源”,“isDataAvailab
浏览 14
提问于2022-10-16
得票数 0
2
回答
pyspark
streaming DStreams to
kafka
主题
pyspark
、
apache-kafka
、
kafka-consumer-api
、
kafka-producer-api
简单地说,有没有可能将DStream流式传输到
Kafka
主题? 我有火花
流
作业,它做了所有的数据处理,现在我想把数据推送到卡夫卡主题。在
pyspark
中可以做到这一点吗?
浏览 1
提问于2018-06-08
得票数 0
2
回答
如何
使用
foreach或foreachBatch在
PySpark
中对数据库进行写入?
apache-spark
、
pyspark
、
apache-kafka
、
spark-structured-streaming
我想用Python (
PySpark
)实现从
Kafka
源代码到MariaDB (
PySpark
)的Spark结构化
流
(Spark2.4.x)。from
pyspark
.sql import SparkSession import
pyspark
.sql.functions a
浏览 3
提问于2019-11-08
得票数 7
回答已采纳
1
回答
卡夫卡到
pyspark
结构化
流
,解析
json
为dataframe
pyspark
、
apache-kafka
、
spark-streaming
我正在尝试
使用
火花结构化
流
(Sparkv2.2.0)来
使用
kafka
提供的
json
数据。但是,我遇到了以下错误。这份工作是
使用
火花提交的-提交如下。from
pyspark
.sql import SparkSessionfrom
pyspark
.sql.types importspark = SparkSession \ .
浏览 4
提问于2017-10-10
得票数 7
1
回答
Pyspark
Kafka
结构化
流
:写出时出错
apache-spark
、
pyspark
、
apache-kafka
、
spark-structured-streaming
我能够在
PySpark
中通过两个不同的步骤从
Kafka
主题读取
流
,并将(转换后的)数据写回另一个
Kafka
主题。:9092") \ .save() 上面的代码正常工作:
Kafka
主题"instream“中的数据被读入
PySpark
,然后
PySpark
可以将数据写出到
Kafka
主题"outstream
浏览 0
提问于2018-10-07
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
深入理解Kafka Connect:转换器和序列化
使用Apache Kafka的Golang实践指南
系统解读Kafka的流和表(二):主题、分区和存储
对大数据处理技术栈的简单思考
6.kafka序列化&反序列化
热门
标签
更多标签
活动推荐
运营活动
广告
关闭
领券