腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(6922)
视频
沙龙
1
回答
Spark
Structured
streaming
:
JDBC
接收器
中
的
主键
mysql
、
apache-spark
、
apache-spark-sql
、
spark-structured-streaming
、
apache-spark-dataset
我正在使用带有更新模式
的
结构化数据流从kafka主题中读取数据流,然后进行一些转换。 然后,我创建了一个
jdbc
接收器
来使用Append模式将数据推送到mysql
接收器
中
。问题是我如何告诉我
的
接收器
让它知道这是我
的
主键
,并基于它进行更新,这样我
的
表就不应该有任何重复
的
行。val df: DataFrame =
spark
.format("
浏览 6
提问于2019-05-02
得票数 1
回答已采纳
1
回答
使用
spark
和
spark
streaming
构建服务
apache-spark
、
pyspark
、
rabbitmq
、
spark-streaming
我读过一些关于
spark
streaming
的
文章,我想知道是否有可能使用rabbitmq作为代理从自定义来源流式传输数据,并通过
spark
流提供这些数据,
Spark
的
机器学习和图形处理算法将在这些数据上执行,并将其发送到其他文件系统/数据库/仪表板或客户
接收器
。附注:我用python编写代码,我没有任何使用
spark
的
经验,我可以称之为我试图实现
的
微服务吗? 谢谢。
浏览 5
提问于2020-09-02
得票数 0
1
回答
使用自定义
接收器
从dataset接收流数据[星火流]
java
、
apache-spark
、
apache-spark-sql
、
spark-streaming
、
apache-spark-dataset
我和
Spark
是新来
的
,而且它是轻装上阵
的
!Dataset<Row> jdbcDF =
spark
.read().option("url", "
jdbc
:mysql
浏览 2
提问于2019-10-14
得票数 2
1
回答
Spark
streaming
中
卡桑德拉
接收器
的
ForeachWriter实现
apache-spark
、
cassandra
、
spark-structured-streaming
显然在
Spark
streaming
中
没有对Cassandra
接收器
的
内置支持。我在网上找到了这个例子,它基于ForEachWriter为
Spark
structured
streaming
实现了一个自定义
的
Cassandra
接收器
: https://dzone.com/articles/cassandra-sink-for-
spark
-
structu
浏览 31
提问于2019-02-24
得票数 0
1
回答
拼接文件输出Sink -
Spark
结构化流
apache-spark
、
spark-structured-streaming
想知道什么(以及如何修改)会触发
Spark
Sturctured流查询(配置了拼图文件输出
接收器
)以将数据写入拼图文件。我定期提供流输入数据(使用StreamReader读入文件),但它不会为作为输入提供
的
每个文件将输出写入Parquet文件。一旦我给它提供了几个文件,它往往会很好地编写一个Parquet文件。我希望能够强制每个新
的
文件作为输入提供到拼图文件
的
新写入。任何建议都很感谢! 注意:在Read Stream调用
中
,我将maxFilesPerTrigger设置为1。我还看到了流查
浏览 7
提问于2019-03-28
得票数 1
1
回答
SparklyR流和
JDBC
r
、
apache-spark
、
spark-structured-streaming
、
sparklyr
您能提供一个使用SparklyR
的
示例吗checkpoint stream_write_
jdbc
(x, = c("append","complete","update"),stream_write_
jdbc
= stream_trigger_interval如果示例使用任何其他可以使用
的
数据库。为什么在从
JDBC
读取数据时
浏览 24
提问于2018-10-25
得票数 1
回答已采纳
4
回答
如何读取一次流数据集并输出到多个
接收器
?
apache-spark
、
spark-structured-streaming
我有一个
Spark
Structured
Streaming
Job,它从S3读取数据,转换数据,然后将其存储到一个S3
接收器
和一个Elasticsearch
接收器
。当这样做时,似乎
Spark
从S3源读取数据两次,每个
接收器
一次。 有没有一种更有效
的
方法来写入同一管道
中
的
多个
接收器
?
浏览 1
提问于2017-09-19
得票数 14
1
回答
在
Spark
Structured
Streaming
中使用Kafka
接收器
时,检查点是强制
的
吗?
java
、
apache-spark
、
spark-structured-streaming
我正在尝试使用
Spark
Structured
Streaming
将聚合数据写入Kafka。:210) at org.apache.
spark
.sql.
streaming
.Streaming
浏览 1
提问于2018-04-10
得票数 1
1
回答
在
spark
-avro
中
找不到架构注册表
的
to_avro函数
scala
、
apache-spark
、
apache-kafka
、
avro
我正在尝试使用以下文档向kafka
接收器
写入内容:https://docs.databricks.com/
spark
/latest/
structured
-
streaming
/avro-dataframe.html#example-with-schema-registry 但是,我在
spark
-avro(https://mvnrepository.com/artifact/org.apache.
spa
浏览 19
提问于2020-08-06
得票数 0
回答已采纳
2
回答
数据源io.pivotal.greenplum.
spark
.GreenplumRelationProvider不支持流写入。
scala
、
apache-kafka
、
spark-streaming
、
greenplum
我试图读取卡夫卡
的
数据,并将其上传到格林梅利
的
数据库使用火花。我使用
的
是格林梅-火花连接器,但我正在获取数据源,io.pivotal.greenplum.
spark
.GreenplumRelationProvider不支持流写入。是否格林梅源不支持流媒体数据?我曾尝试将数据源命名为“绿梅”,并将"io.pivotal.greenplum.
spark
.GreenplumRelationProvider“转换为.format(”数据源“) val EventStream=
spark</em
浏览 0
提问于2019-04-04
得票数 0
回答已采纳
2
回答
使用apache
spark
和scala将数据推送到Nifi Flow
scala
、
apache-spark
、
apache-spark-sql
、
spark-streaming
、
apache-nifi
我想从nifi flow
中
获取数据,然后做一些事情。之后,我想再次将结果发送到nifi flow。 这是我
的
nifi流,使用输出端口将数据发送到
spark
。 ? 为了从Nifi flow
中
获取数据,我编写了以下函数。SiteToSiteClient .url("http://localhost:8090/nifi") .portName("Data For
Spark
Stre
浏览 30
提问于2020-04-09
得票数 1
1
回答
Spark
结构化流使用多个查询
的
用例
scala
、
apache-spark
、
apache-spark-sql
、
spark-streaming
、
spark-structured-streaming
我有一个要求,从多个卡夫卡topicsAvro
的
流媒体,并把他们在格林梅利与小修改
的
有效载荷。val query1 = df.writeStream.start()
sp
浏览 2
提问于2020-11-06
得票数 1
回答已采纳
1
回答
Spark
Structured
Streaming
-是否可以将偏移量写入两次
apache-kafka
、
offset
、
spark-structured-streaming
、
kafka-topic
、
spark-checkpoint
我正在使用
spark
structured
streaming
来消费kafka主题中
的
数据,并将数据写入另一个kafka
接收器
。 我想存储两次偏移量-从主题读取时存储一次,并搅动偏移量。其次-当将数据写入输出
接收器
并写入偏移时,这可以通过给出检查点目录位置来实现, 是否可以写入订阅topic时消耗
的
偏移量。
浏览 13
提问于2020-03-31
得票数 0
1
回答
在哪里可以找到与
spark
structured
streaming
相关
的
所有属性?
scala
、
spark-streaming
、
spark-structured-streaming
我想知道是否有与
spark
structured
streaming
相关
的
所有属性
的
列表?例如,在文档
中
,我们可以找到:当我按照
spark
sql上
的
配置文档
中
的
建议执行
spark
.s
浏览 2
提问于2018-09-03
得票数 0
1
回答
Prometheus
中
的
Spark
3.0流指标
apache-spark
、
prometheus
、
spark-structured-streaming
、
spark3
我在Kubernetes上运行
Spark
3.0应用程序(
Spark
Structured
Streaming
),并尝试使用新
的
原生Prometheus指标
接收器
。我能够让它工作,并获得描述here
的
所有指标。但是,我真正需要
的
指标是在启用以下配置时提供
的
指标:
spark
.sql.
streaming
.metricsEnabled,如this
Spark
Summit presen
浏览 53
提问于2020-10-20
得票数 3
回答已采纳
2
回答
电火花外壳
中
的
外部包(jars) --如何
apache-spark
、
pyspark
将外部包(jars)包含在火花放电外壳
中
的
正确方法是什么?我想通过
spark
-sql-kafka库从卡夫卡
中
通过火花阅读,如下所述:。我试图通过环境变量PYSPARK_SUBMIT_ARGS
中
设置
的
PYSPARK_SUBMIT_ARGS选项导入库。到目前为止,我读到
的
资料: - [
Structured
streaming
kafk
浏览 0
提问于2019-12-11
得票数 0
1
回答
Apache结构化流与Apache :有什么区别?
apache-spark
、
apache-flink
、
spark-structured-streaming
我们讨论了以下问题: 但是
Spark
Structured
Streaming
是在
Spark
2.2上添加
的
,它给流媒体带来了很多变化,而且它是非常出色
的
。我们可以说
Spark
Strutured
Streaming
是流处理,还是仍然是批处理?现在Apache Flink和Apache
Spark
Structured
Streaming
的
最大区别是什么?
浏览 3
提问于2017-09-01
得票数 13
1
回答
可以在没有HDFS
的
情况下使用
Spark
Structured
吗?
spark-structured-streaming
所以现在使用
Spark
-
structured
-
streaming
,我很惊讶检查点只有HDFS。用Kafka来勾点会更快更可靠。那么,有没有可能在没有HDFS
的
情况下使用
spark
structured
?奇怪
的
是,我们只能在Kafka中将HDFS用于流数据。或者,有没有可能告诉斯帕克忘记ChekpPointing并在程序
中
管理它?
Spark
2.4.7 谢谢
浏览 39
提问于2021-05-07
得票数 2
2
回答
Spark
.
Streaming
.backpression.*属性是否适用于
Spark
结构流?
scala
、
apache-spark
、
spark-streaming
、
spark-structured-streaming
我
的
理解是
Spark
structured
Streaming
是建立在
Spark
SQL之上
的
,而不是
Spark
streaming
。因此,下面的问题是,应用于
spark
流
的
属性是否也适用于
spark
结构化流,例如:
spark
.
streaming
.backpressure.initialRate
spark
.
streaming
浏览 1
提问于2018-09-03
得票数 1
4
回答
如何在pyspark中使用foreach
接收器
?
apache-spark
、
pyspark
、
pyspark-sql
、
spark-structured-streaming
如何在Python
Spark
structured
streaming
中使用foreach在输出上触发操作。
浏览 0
提问于2018-01-11
得票数 2
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
flink和spark Streaming中的Back Pressure
Spark Streaming 中管理 Kafka Offsets 的几种方式
如何将外部数据源与Spark集成?
Structured Streaming实现超低延迟
Spark Structured Streaming 入门学习:集成Kafka
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券