腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
4
回答
使用
Spark
2.0.2读取来自
Kafka
的
Avro消息(
结构化
流
)
scala
、
apache-kafka
、
spark-streaming
、
avro
、
apache-spark-2.0
我有一个
spark
2.0应用程序,它
使用
spark
streaming从
kafka
读取消息(
使用
spark
-streaming-
kafka
-0-10_2.11)。
结构化
流媒体看起来真的很酷,所以我想试着迁移代码,但我不知道如何
使用
它。 在常规
的
流
中
,我对createDstrean
使用
kafkaUtils,并且在我传递
的
参数
中
,
浏览 3
提问于2016-11-20
得票数 9
2
回答
如何
使用
Java
中
的
结构化
流
从
Kafka
反
序列化
记录?
java
、
apache-spark
、
apache-kafka
、
spark-structured-streaming
我
使用
星火2.1。 .readStream() .option", "earliest") .lo
浏览 3
提问于2017-05-12
得票数 7
2
回答
如何摆脱org.apache.
kafka
.clients.consumer.KafkaConsumer.subscribe :火花
流
+卡夫卡
中
的
NoSuchMethodError错误
python
、
apache-spark
、
pyspark
、
apache-kafka
、
spark-structured-streaming
我想
使用
星火
流
,并连接它与卡夫卡。然而,我仍然得到了NoSuchMethodError: NoSuchMethodError错误,现在我只是不知道下一步该做什么。我
的
设置:Scala 2.11火花2.2.1我甚至不能运行示例脚本--master local[2] --jars /home/some_path/
spark
-sq
浏览 1
提问于2018-02-09
得票数 3
5
回答
如何从
Kafka
读取XML格式
的
流
数据?
apache-spark
、
xml-parsing
、
pyspark-sql
、
spark-structured-streaming
我正在尝试
使用
Spark
结构化
流
从
Kafka
主题读取XML数据。df =
spark
\ .format("<
浏览 19
提问于2017-09-01
得票数 6
回答已采纳
1
回答
结构化
流
如何动态解析
kafka
的
json数据
json
、
apache-spark
、
spark-structured-streaming
我正在尝试
使用
结构化
流
从
Kafka
读取数据。从
kafka
收到
的
数据采用json格式。我
的
代码如下所示:在代码
中
,我
使用
from_json函数将json转换为dataframe以供进一步处理。",new StructType() . ) val df: DataFrame =
spark
浏览 3
提问于2019-10-15
得票数 4
回答已采纳
1
回答
使用
Python
的
Azure服务总线
azure
、
apache-spark
、
pyspark
、
apache-kafka
、
azureservicebus
您能提供一些关于
使用
Python
使用
Azure Service Bus
流
消息
的
建议吗?因为我发现Azure Service Bus没有
spark
结构化
流
源,所以在这种情况下,我可以
使用
提供
的
Python客户端读取Azure Service Bus消息,然后从Python客户端读取每个消息并将其写入
Kafka
主题,在这个
Kafka
主题上,我将应用
spark
结构化
<e
浏览 0
提问于2021-03-09
得票数 0
3
回答
Pyspark
结构化
流
Kafka
配置错误
apache-spark
、
pyspark
、
apache-kafka
、
apache-spark-sql
、
spark-structured-streaming
我之前已经成功地
使用
了pyspark for
Spark
Streaming (
Spark
2.0.2)和
Kafka
(0.10.1.0),但我
的
目的更适合于
结构化
流媒体。我尝试在线
使用
示例:ds1 =
spark
.format("
kafka
") .option("
kafka
.bootstrap.server
浏览 2
提问于2017-07-07
得票数 1
3
回答
如何在星火
流
应用程序中
使用
Kafka
主题?
apache-spark
、
pyspark
、
apache-kafka
、
spark-streaming
当我从
Kafka
主题创建一个
流
并打印它
的
内容时 os.environ['PYSPARK_SUBMIT_ARGS'] = '--packages org.apache.
spark
:
spark
-streaming-
kafka
-0-8_2.11:2.0.2 pyspark-shell' from pyspark.streamingimpo
浏览 2
提问于2019-12-08
得票数 1
回答已采纳
1
回答
PySpark和
Kafka
: org.apache.
spark
.SparkException:未能在JAR
中
获得“文件文件.不存在”错误
的
主类
python
、
apache-spark
、
pyspark
我试图创建一个简单
的
星火
结构化
流媒体应用程序,我需要从卡夫卡读取
流
。但是,当我运行以下代码时:.readStream \.option("
kafka
.bootstrap.servers", "localhost因此,根据
结构化
流
+
Kafka
集成指南,我需要运行以下命令: ./bin/
spa
浏览 4
提问于2021-09-16
得票数 0
回答已采纳
1
回答
如何在
spark
结构化
流
的
一次微批量
中
设置批量大小
apache-spark
、
pyspark
、
apache-kafka
、
spark-structured-streaming
我正在读取来自
Kafka
源
的
流
数据,但所有来自
kafka
的
数据都是在单个微批次
中
读取
的
。
spark
.readStream.format("
kafka
").option("
kafka
.bootstrap.servers",bootstrap_servers).option("subscribe", topics).option("startingOf
浏览 2
提问于2020-06-01
得票数 1
2
回答
为什么
结构化
流在"java.lang.IncompatibleClassChangeError: Implementing“
中
失败?
apache-spark
、
pyspark
、
spark-structured-streaming
我想
使用
结构化
流
和PySpark一起运行
Spark
应用程序。 /bin/
spark
-submit\ --packages org.apache.
spark
:
spark
-streaming-
kafka</
浏览 5
提问于2017-08-22
得票数 3
1
回答
是否有可能
使用
Spark
与星火结构
流
的
库?
apache-spark
、
pyspark
、
spark-streaming
、
johnsnowlabs-spark-nlp
我想对我从一个卡夫卡集群
中
获得
的
消息
流
执行tweet情绪分析,该集群反过来从Twitter v2
中
获取这些消息。我已经检查了文档,在
流
数据上找不到任何东西。这是我
使用
的
代码:from pyspark.sql import SparkSession 'org.apache.
spark
:<em
浏览 7
提问于2022-03-23
得票数 1
回答已采纳
1
回答
Spark
Structred Streaming
Kafka
-如何从主题
的
特定分区读取并进行偏移量管理
apache-spark
、
apache-kafka
、
spark-streaming
我对
spark
结构化
数据
流
和
kafka
的
偏移管理是新
的
。
使用
spark
-streaming-
kafka
-0-10-2.11。在消费者
中
,我如何从主题
的
特定分区
中
读取?comapany_df = sparkSession .format("
kafka<
浏览 22
提问于2019-05-29
得票数 0
1
回答
Spark
3.x与Python
中
Kafka
的
集成
apache-spark
、
pyspark
、
apache-kafka
、
spark-structured-streaming
、
spark-kafka-integration
带有火花
流
的
Kafka
抛出了一个错误: ssc.start()我认为错误
的
地方是与卡夫卡人有关,特别是与版本有关
的<
浏览 2
提问于2020-05-19
得票数 4
回答已采纳
2
回答
使用
Spark
结构化
流
检索图形信息
apache-spark
、
pyspark
、
spark-structured-streaming
星火
流
为每个执行
的
应用程序提供了部署
的
Web (运行应用程序
的
http://localhost:4040或已完成
的
应用程序
的
http://localhost:18080 )
中
的
“
流
”选项卡,其中可以获得代表应用程序性能
的
图表,而
使用
Spark
结构化
流
无法获得更多
的
图表。在我
的</e
浏览 1
提问于2020-10-01
得票数 1
回答已采纳
2
回答
试图
使用
星火结构流来消耗
kafka
流
apache-spark
、
pyspark
、
apache-kafka
、
spark-structured-streaming
、
spark-streaming-kafka
我是卡夫卡流媒体
的
新手。我
使用
python设置了一个twitter侦听器,它正在本地主机上运行:9092
Kafka
服务器。我可以
使用
kafka
客户端工具(导管)
使用
监听器产生
的
流
,也可以
使用
命令“bin/
kafka
-控制台- BUt . it引导-服务器本地主机:9092- twitter从头开始”BUt,当我尝试
使用
Spark
结构化
流</e
浏览 1
提问于2020-07-05
得票数 1
2
回答
是否可以直接将数据从Nifi发送到
Spark
结构化
流
/Storm,而不丢失数据?
apache-spark
、
apache-storm
、
apache-nifi
、
spark-structured-streaming
在我当前
的
场景
中
,Nifi收集数据,然后发送给
Kafka
。然后,任何流媒体引擎都会消耗卡夫卡
的
数据,并对其进行分析。在这种情况下,我不想在Nifi和流媒体引擎之间
使用
卡夫卡。因此,我想将数据从Nifi直接发送到
流
引擎。但是,我不知道一些细节。 例如,
结构化
流
;如果我直接将数据从Nifi发送到
Spark
结构化
流
,
Spark
收到了这些数据,但是
Spark
的</
浏览 0
提问于2019-02-14
得票数 0
回答已采纳
1
回答
来自
Kafka
主题
的
结构化
流式阅读
apache-kafka
、
spark-structured-streaming
我已经读取了一个csv文件,并
使用
Kafka
生产者应用程序将value字段转换为字节,并将其写入
Kafka
主题。现在我正在尝试阅读
Kafka
主题
使用
结构化
流
,但不能应用自定义kryo反
序列化
的
值域。有人能告诉我如何在
结构化
流媒体中
使用
自定义反
序列化
吗?
浏览 0
提问于2018-01-10
得票数 1
1
回答
在火花
流
/
结构化
流
中
阅读
Kafka
的
avro消息
pyspark
、
apache-kafka
、
spark-streaming
、
spark-structured-streaming
、
spark-streaming-kafka
我第一次
使用
火花放电。火花版本: 2.3.0卡夫卡版本: 2.2.0 我有一个卡夫卡生产者,它以avro格式发送嵌套数据,我正在尝试用火花
流
/
结构化
流
写代码,这将反
序列化
从
kafka
到dataframe
的
avro,做转换,把它以拼花格式写成我能够在
spark
/scala中找到avro转换器,但是还没有增加对pyspark
的
支持。如何在火花放电中转换相同
的
内容。谢谢。
浏览 3
提问于2019-05-02
得票数 3
回答已采纳
1
回答
如何解决阶段20.0 (TID 20)任务0.0
中
的
错误执行器异常?
python
、
apache-spark
、
pyspark
、
apache-kafka
、
spark-streaming
--我知道类似的问题已经得到了简短
的
回答,但由于缺乏最低限度
的
reputation...hence,我无法在此补充我个人
的
怀疑--我在这里问它--from
浏览 2
提问于2019-12-29
得票数 2
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
对大数据处理技术栈的简单思考
Spark踩坑记:Spark Streaming+kafka应用及调优
如何在Spark中处理结构化流式数据,如日志文件或传感器数据?
超强盘点:15种大数据分析工具
Apache Spark 2.4 内置的 Avro 数据源实战
热门
标签
更多标签
活动推荐
运营活动
广告
关闭
领券