腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(128)
视频
沙龙
1
回答
Spark
structured
streaming
将
Kafka
值
字符串
截断
为
4095
string
、
apache-spark
、
pyspark
、
spark-structured-streaming
、
truncate
下面的代码 builder = SparkSession.builder\
spark
= builder.getOrCreate() df =
spark
\ .format("
kafka
&quo
浏览 24
提问于2021-04-06
得票数 0
6
回答
Spark
structured
streaming
kafka
转换不带模式的JSON (推断模式)
apache-spark
、
apache-kafka
、
schema
、
spark-structured-streaming
我读到
Spark
Structured
Streaming
不支持
将
Kafka
消息读取
为
JSON的模式推断。有没有一种方法可以像
Spark
Streaming
一样检索模式:dataFrame.printschema
浏览 1
提问于2018-01-21
得票数 13
1
回答
删除
spark
-
structured
-
streaming
写入的损坏拼接文件时会丢失数据吗?
scala
、
apache-kafka
、
parquet
、
spark-structured-streaming
我使用
spark
-
structured
-
streaming
作为消费者从
kafka
获取数据,按照指南参考https://
spark
.apache.org/docs/latest/
structured
-
streaming
-
kafka
-integration.html然后
将
数据保存到hdfs作为拼图文件。我知道
spark
-
structured
-
st
浏览 20
提问于2019-05-25
得票数 0
2
回答
每当文件落入s3存储桶时,
Spark
都会读取新交付的文件
amazon-web-services
、
apache-spark
、
amazon-s3
当文件登陆到s3中时,我想使用
Spark
来读取文件。 我不想使用lambda函数,相反,我正在尝试寻找一些其他方法,每当较新的文件落入s3存储桶时,都可以从亚马逊s3中读取文件。AWS是否向
Spark
提供任何此类事件通知?
浏览 1
提问于2020-04-21
得票数 0
1
回答
使用结构化流式协议的Apache
Kafka
apache-spark
、
apache-kafka
、
spark-structured-streaming
我尝试了所有我能在网上找到的方法,但仍然不能正确地解析消息A 方法1:在集成指南(https://
spark
.apache.org/docs/2.2.0/
structured
-
streaming
-
kafka
-integration.html)中,我应该
将
值
转换为
字符串
。但是,即使我执行getBytes
将
字符串
转换为字节,以便解析消息A,我也会得到: Exception in threa
浏览 6
提问于2019-09-24
得票数 0
回答已采纳
2
回答
添加配置参数-
spark
&
Kafka
:ack和压缩
scala
、
apache-spark
、
apache-kafka
我想向我的应用程序
spark
&
kafka
添加一些参数,以便
将
Dataframe写入主题
Kafka
。我在
spark
-
kafka
文档中没有找到ack和compression.codec .write .option("
kafka
.sasl.mechanism", Config.
KAFKA
_SASL_MECHANISM) .opti
浏览 39
提问于2019-06-21
得票数 1
1
回答
是否有可能让火花结构化流(更新模式)写入数据库?
apache-spark
、
apache-kafka
、
spark-structured-streaming
我使用
spark
(3.0.0)结构化流从
kafka
读取主题。下面的火花官方指南部分没有提到DB sink,它也不支持
为
update mode:写到files附注:我跟踪了这些文章以获得aggregated流查询。stackoverflow
浏览 5
提问于2020-09-16
得票数 0
3
回答
面对NoClassDefFoundError错误的卡夫卡-火花结构化流媒体集成通过PySpark
apache-spark
、
pyspark
、
apache-kafka
、
pyspark-sql
、
spark-structured-streaming
我在用我配置了两个JARS(
spark
-sql-
kafka
-0-10_2.12-3.0.0-preview2.jar和
kafka
-clients-2.2.0.jar),并将其保存在$
SPARK
_HOME/jars文件夹中。当我试图查看来自
Kafka
服务器的数据的键,
值
(因为
Kafka
的数据以JSON格式以Key对表示)时,我面临
浏览 9
提问于2020-04-08
得票数 2
1
回答
如何使用
Spark
流和Python使用
Kafka
的JSON记录?
python
、
apache-spark
、
apache-kafka
、
spark-streaming
我创建了一个带有JSON格式记录的
Kafka
主题。./
kafka
-console-consumer.sh --new-consumer \ --from-beginning \ --consumer.config /root/client.properties 我如何使用Python中的<
浏览 5
提问于2017-05-24
得票数 1
回答已采纳
1
回答
在PySpark中使用达美湖时,如何
将
卡夫卡设置
为
依赖关系?
python
、
pyspark
、
apache-kafka
、
databricks
、
delta-lake
根据的说法,这是
将
Delta设置
为
常规Python脚本的一部分的代码from delta import *
Spark
中的 for
Kafka
集成展示了在使用
spark
-submit命令(通过--packages参数)时如何设置--packages,而不是用--,您还可以在构建火花会话时包含此参数: import pyspar
浏览 10
提问于2022-12-01
得票数 0
3
回答
使用
Spark
Streaming
时限制
Kafka
批量大小
apache-spark
、
apache-kafka
、
spark-streaming
、
kafka-consumer-api
是否可以限制
Kafka
消费者返回
Spark
Streaming
的批量大小? 我之所以问这个问题,是因为我得到的第一批记录有上亿条记录,需要很长时间才能处理和设置检查点。
浏览 0
提问于2016-10-11
得票数 18
回答已采纳
1
回答
屏蔽来自
Kafka
流的数据
apache-spark
、
apache-kafka
、
spark-streaming
、
spark-structured-streaming
、
spark-streaming-kafka
我使用
spark
Structured
来流式传输来自
kafka
的数据,它为我提供了以下模式的数据帧 Column Typevalue binarytopic stringoffset longtimestampType int
值
Colum是以二进制格式出现的,但它实际上是一个具有struct类型的json
字符串
,要求读取json结构,并屏蔽其中的几个字段,然后写
浏览 23
提问于2020-10-16
得票数 0
2
回答
在
spark
结构化流中写入来自
kafka
/ json数据源的损坏数据
apache-spark
、
apache-spark-sql
、
spark-structured-streaming
(数据写
为
拼接) 但在
Spark
Structred
Streaming
中,我首先通过
kafka
将
流作为
字符串
读取,然后使用from_json获取我的DataFrame。然后,from_json使用JsonToStructs,它在解析器中使用FailFast模式,并且不将未解析的
字符串
返回到DataFrame中的列。但是
Spark
Structured
需要对多个接收器进行特殊处理。/
spark
-sql-Ex
浏览 34
提问于2018-12-27
得票数 1
回答已采纳
4
回答
Kafka
-pyspark
Streaming
: KafkaException:构建
kafka
消费者失败
apache-spark
、
pyspark
、
apache-kafka
、
spark-structured-streaming
我正在尝试通过pyspark订阅一个
Kafka
主题,代码如下: lines =
spark
.readStream.format("
kafka
").option("
kafka
.bootstrap.serve
浏览 0
提问于2020-02-07
得票数 0
1
回答
在卡夫卡星火流的情况下,
spark
.
streaming
.
kafka
.maxRatePerPartition和
spark
.
streaming
.backpressure.enabled有什么关系?
apache-spark
、
pyspark
、
apache-kafka
、
spark-streaming
、
spark-structured-streaming
此速率是由
spark
.
streaming
.receiver.maxRate和
spark
.
streaming
.
kafka
.maxRatePerPartition
值
所限定的上限。既然我是第一次运行应用程序,并且没有以前的微批处理,那么我应该为:
spark
.
streaming
.backpressure.initialRate指定一些
值
吗?如果是这样,我应该如何确定
spark
.
streaming
.backp
浏览 0
提问于2021-09-13
得票数 4
回答已采纳
1
回答
无法建立到
Kafka
的连接时,
Spark
流式作业不会失败
apache-spark
、
apache-kafka
、
spark-streaming
、
spark-structured-streaming
我在AWS EMR上使用
Spark
Streaming
连接到AWS MSK上的
Kafka
集群。我正在使用
spark
-sql-
kafka
-0-10和
Spark
2.4.3。如果安全组配置不正确,
Spark
Streaming
作业会卡住数小时,并显示以下警告: 20/06/29 14:10:42 WARN NetworkClient: [Consumer clientId=consumer-1, groupId=
spark</e
浏览 0
提问于2020-06-30
得票数 0
2
回答
Spark
Structured
Streaming
中的提交消息
java
、
apache-spark
、
spark-streaming
我使用的是
spark
sturctured (2.3)和
kafka
2.4版本。如何在
spark
structured
streaming
中定义回调?或者我如何在
Spark
structured
streaming
中使用Sync or ASync?; impor
浏览 0
提问于2020-03-20
得票数 0
3
回答
火花流断言失败:在对4096进行轮询后,未能获得火花执行器-a-group a-主题7 244723248的记录。
apache-spark
、
apache-kafka
、
spark-streaming
试过:-从512到4096,较少失败,但即使是10s,失败仍然存在。.config("
spark
.
streaming
.
kafka
.maxRatePerPartition", "256") .config("
spark
.<
浏览 4
提问于2017-02-16
得票数 6
1
回答
为什么流查询不向HDFS写入数据?
scala
、
apache-spark
、
spark-structured-streaming
我在
Spark
2.3.1中使用
Spark
Structured
Streaming
,下面是我的代码:.builder.config("hive.exec.dynamic.partition.mode", "nonstrict") .config("
spark
.
streaming
.receiver.writeAheadL
浏览 1
提问于2018-12-13
得票数 1
1
回答
writeStream:在一个单独的json文件中的每个数据帧行
pyspark
、
spark-streaming
、
pyspark-dataframes
我正在使用pyspark
将
Kafka
主题中的数据作为流数据读取,如下所示: .appName("
Spark
Structured
Streaming
from
Kafka
") \ .readStream \ .optio
浏览 2
提问于2020-03-12
得票数 0
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Spark Structured Streaming 入门学习:集成Kafka
Structured Streaming实现超低延迟
Spark 2.3重磅发布:欲与Flink争高下,引入持续流处理
1.Spark 简介
Spark Streaming 中管理 Kafka Offsets 的几种方式
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券