腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
Kubernetes
上
的
Spark
Structured
问题
apache-spark
、
kubernetes
、
spark-structured-streaming
在K8s群集
上
运行结构化流式处理时,我收到警告和错误。以下是我
的
部分代码: val df =
spark
.format("kafka") .option("kafka.bootstrap.servers然而,当batch 1
的
数据到达时,我收到了由于java.lang.NullPointerException而导致任务丢失
的
警告。你知道它
的
根本原因吗?如何设置
spark
-submit<e
浏览 11
提问于2019-10-12
得票数 0
1
回答
Apache结构化流与Apache :有什么区别?
apache-spark
、
apache-flink
、
spark-structured-streaming
我们讨论了以下
问题
: 但是
Spark
Structured
Streaming是在
Spark
2.2
上
添加
的
,它给流媒体带来了很多变化,而且它是非常出色
的
。我们可以说
Spark
Strutured Streaming是流处理,还是仍然是批处理?现在Apache Flink和Apache
Spark
Structured
Streaming
的
最大区别是什么?
浏览 3
提问于2017-09-01
得票数 13
1
回答
Prometheus中
的
Spark
3.0流指标
apache-spark
、
prometheus
、
spark-structured-streaming
、
spark3
我在
Kubernetes
上
运行
Spark
3.0应用程序(
Spark
Structured
Streaming),并尝试使用新
的
原生Prometheus指标接收器。我能够让它工作,并获得描述here
的
所有指标。但是,我真正需要
的
指标是在启用以下配置时提供
的
指标:
spark
.sql.streaming.metricsEnabled,如this
Spark
Summit presentation中所建
浏览 53
提问于2020-10-20
得票数 3
回答已采纳
2
回答
电火花外壳中
的
外部包(jars) --如何
apache-spark
、
pyspark
将外部包(jars)包含在火花放电外壳中
的
正确方法是什么?我想通过
spark
-sql-kafka库从卡夫卡中通过火花阅读,如下所述:。运行
的
机器
上
,还是在纱线运行
的
机器
上
?)如果我把火花壳里
的
所有东西都用在笔记本
上
,它们会改变吗?到目前为止,我读到
的
资料: - [
Structured
strea
浏览 0
提问于2019-12-11
得票数 0
1
回答
在哪里可以找到与
spark
structured
streaming相关
的
所有属性?
scala
、
spark-streaming
、
spark-structured-streaming
我想知道是否有与
spark
structured
streaming相关
的
所有属性
的
列表?
上
的
配置文档中
的
建议执行
spark
.sql("SET -v").show(numRows = 200, truncate = false)时,我看到
的
唯一一件事是:因此,我
的
问题</em
浏览 2
提问于2018-09-03
得票数 0
1
回答
可以在没有HDFS
的
情况下使用
Spark
Structured
吗?
spark-structured-streaming
所以现在使用
Spark
-
structured
-streaming,我很惊讶检查点只有HDFS。用Kafka来勾点会更快更可靠。那么,有没有可能在没有HDFS
的
情况下使用
spark
structured
?奇怪
的
是,我们只能在Kafka中将HDFS用于流数据。
Spark
2.4.7 谢谢
浏览 39
提问于2021-05-07
得票数 2
1
回答
集群
上
的
星星之火--不停地驱逐执行者:员工已经注册,拥有足够
的
资源。
apache-spark
、
kubernetes
、
pyspark
、
google-kubernetes-engine
、
spark-submit
我遵循了下面的说明,除了minicube之外,我使用了Google平台
Kubernetes
集群:(
Spark
2.3.2) .
上
,我可以看到我
的
所有工作节点,我可以很容易地通过以下方式控制这些节点:我看到一个在
Spark
上
运行
的
新应用程序,它会继续使用现有
浏览 0
提问于2020-04-18
得票数 0
2
回答
AWS EKS
Spark
3.0,Hadoop3.2错误- NoClassDefFoundError: NoClassDefFoundError
apache-spark
、
hadoop
、
amazon-s3
、
amazon-eks
我在EKS
上
运行木星中心,并希望利用EKS功能在K8s
上
运行火花工作负载。我以前有过使用Kube2IAM
的
经验,但是现在我打算搬到IRSA。此
问题
与使用
Spark
3.0/Hadoop3.2
上
的
星火访问S3有关 None.org.apache.
spark
.api.java.JavaSparkContext.Py4JJavaError时出错::com/amazonaws/services/s3/model&
浏览 5
提问于2020-10-31
得票数 3
1
回答
spark
structured
streaming现在支持多少窗口类型,将来会支持多少?
apache-spark
、
window
、
spark-streaming
、
spark-structured-streaming
目前在阅读flink
的
文档时,我发现flink中有很多支持,比如翻滚窗口、滑动窗口、会话窗口和自定义窗口
的
实现谢谢你
的
点子和建议~
浏览 0
提问于2018-11-05
得票数 0
2
回答
如何对
Spark
结构化流媒体进行单元测试?
apache-spark
、
spark-structured-streaming
、
spark-streaming-kafka
我想了解一下
Spark
Structured
Streaming
的
单元测试方面。我
的
场景是,我从Kafka获取数据,并使用
Spark
Structured
Streaming使用它,并在数据
上
应用一些转换。 我不确定如何使用Scala和
Spark
来测试它。
浏览 3
提问于2019-07-05
得票数 2
2
回答
Apache Ignite到亚马逊S3
的
连接
ignite
我想知道如何将数据从亚马逊S3加载到Apache Ignite集群?是否需要单节点或多节点群集?
浏览 5
提问于2017-05-02
得票数 1
1
回答
在
Kubernetes
上
启动
Spark
3.0 --拉取图像时出错
docker
、
apache-spark
、
kubernetes
我正在尝试根据官方网站上
的
说明在
Kubernetes
上
启动
spark
。我按照说明使用他们提供
的
脚本创建了一个镜像,如下所示:对于<repo>,我使用
的
是pyspark。我对
Kubernetes
的
spark</e
浏览 38
提问于2020-08-03
得票数 0
2
回答
在
Kubernetes
上
运行
Spark
时指定公差
的
Pod模板
apache-spark
、
kubernetes
、
pyspark
、
kubernetes-pod
我在尝试通过
Kubernetes
调度程序启动
Spark
作业时遇到了一些
问题
。根据和,用户应该能够指定pod模板,该模板可以使用以下参数设置:
spark
.
kubernetes
.driver.podTemplateF
浏览 0
提问于2019-09-30
得票数 1
1
回答
Spark
- Master:解除关联,移除它
apache-spark
、
kubernetes
我正在部署一个包含1个Master节点和3个worker节点
的
Spark
集群。0 39h 172.26.140.194 aks-agentpool-31454219-0 <none> <none>
spark
.master=<e
浏览 28
提问于2019-07-17
得票数 2
1
回答
结构化流错误py4j.protocol.Py4JNetworkError: Java端
的
回答为空
apache-spark
、
pyspark
、
apache-kafka
、
spark-structured-streaming
我正在尝试使用PySpark和
Structured
Streaming (
Spark
2.3)在两个Kafka Stream之间进行左向外连接。
Spark
Kafka
Structured
Streaming") \ .add”) py4j.protocol.Py4JNetworkError:来自Java端
的
应答为空
浏览 136
提问于2018-05-04
得票数 3
回答已采纳
2
回答
线程"main“org.apache.
spark
.SparkException中出现异常:必须指定驱动程序容器映像
apache-spark
、
docker
、
kubernetes
、
kubectl
、
minikube
我正在尝试从本地机器CLI使用命令在minikube(
Kubernetes
)
上
执行
spark
-submit--deploy-mode cluster --class com.yyy.Test --conf
spark
.executor.instances=2 --conf
spark
.
kubernetes
浏览 11
提问于2018-04-06
得票数 4
1
回答
在k8
的
问题
上点燃装罐
apache-spark
、
kubernetes
我正试图在
kubernetes
上
运行一个示例星星之火应用程序(在星火示例jar中提供),并试图理解其行为。请注意,我
的
节点
上
没有互联网访问权限。-gcs)到运行
kubernetes
主服务器
的
节点
上
的
对接程序)。Error: Could not find or load main class org.apache.
spark
.examples.SparkPi 我们需要
浏览 2
提问于2019-03-29
得票数 1
回答已采纳
4
回答
Spark
dataframe添加新
的
列
问题
-结构化流
apache-spark
、
spark-structured-streaming
我正在使用
spark
Structured
。我有一个数据帧,并添加了一个新列"current_ts“。当作业被触发时,它更新相同
的
epcoh时间,从而使DF中
的
每一行都具有相同
的
值。这在正常
的
spark
工作中效果很好。这是
spark
structured
的
问题
吗?
浏览 1
提问于2018-04-01
得票数 4
1
回答
使用
spark
和
spark
streaming构建服务
apache-spark
、
pyspark
、
rabbitmq
、
spark-streaming
我读过一些关于
spark
streaming
的
文章,我想知道是否有可能使用rabbitmq作为代理从自定义来源流式传输数据,并通过
spark
流提供这些数据,
Spark
的
机器学习和图形处理算法将在这些数据
上
执行附注:我用python编写代码,我没有任何使用
spark
的
经验,我可以称之为我试图实现
的
微服务吗? 谢谢。
浏览 5
提问于2020-09-02
得票数 0
1
回答
如何把一份工作送到库伯奈特斯
的
斯派克。不能实例化外部调度程序
apache-spark
、
kubernetes
我
的
命令: bin/
spark
-submit --master k8s://https://192.168.99.101:8443 --deploy-mode cluster --name
spark
-test--class org.apache.
spark
.examples.SparkPi --conf
spark
.executor.instances=5 --conf
spark
.
kubernetes
.contain
浏览 0
提问于2019-03-13
得票数 1
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Spark 2.3重磅发布:欲与Flink争高下,引入持续流处理
kubernetes 无法添加节点的问题
Docker与Kubernetes的前世今生(上)
简化TensorFlow和Spark互操作性的问题:LinkedIn开源Spark-TFRecord
谈谈 Kubernetes 的问题和局限性
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券