腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
spark
批处理
应用程序
的
关闭
挂钩
scala
、
apache-spark
我有一个
spark
scala
批处理
应用程序
。它在完成或失败时将运行状态提交给mariadb。我想实现一个边缘用例,当
应用程序
被"yarn appid“杀死时,我想在mariadb表中更新状态为failed。我也打算用"ShutdownHookManager“来做同样
的
事情,但我发现它在
spark
中是私有的,而且scala sys.ShutdownHookThread也不能正常工作。谁能指导我在
关闭
钩子处理杀火花
批处理
应用程
浏览 18
提问于2020-12-15
得票数 3
2
回答
如何杀死Java进程并执行
关闭
钩子
java
、
windows
、
batch-file
我有一个带有
关闭
钩子
的
Java
应用程序
。在IntelliJ中运行
应用程序
并单击Exit按钮(相对于Stop按钮,后者不会导致
关闭
钩子)时,将执行关机钩子。我需要能够从Windows
批处理
文件中
关闭
该进程。我尝试过各种组合
的
taskkill命令(假设PID为1234):taskkill /pid 1234 /f /t 是否有一种方法可以从MS
批处理</
浏览 3
提问于2016-06-20
得票数 8
1
回答
Spark
Streaming Kafka Stream批量执行
java
、
apache-spark
、
apache-kafka
、
spark-streaming
、
spark-streaming-kafka
我是
spark
streaming
的
新手,我对它
的
用法有一个一般性
的
问题。我目前正在实现一个从Kafka主题流式传输数据
的
应用程序
。这意味着在使用
spark
-submit启动
应用程序
后,所有这些内容将在一个
批处理
中执行,然后
应用程序
将
浏览 1
提问于2018-11-29
得票数 3
3
回答
在纱线中启动/停止火花流作业
的
正确方法是什么?
hadoop
、
apache-spark
、
spark-streaming
、
hadoop-yarn
、
cloudera
我已经做了很多个小时
的
实验和谷歌搜索,没有运气。$
spark
-submit --master yarn-cluster --class MyMain my.jar myArgs 但它只是无止境地打印这些线条。我所能找到
的
关于提交纱线上
的
火花作业
的
所有示例似乎都假设
应用程序
将完成一些工作并终止,因此您希望在前台运行它。但流媒体
的
情况并非如此
浏览 6
提问于2015-07-28
得票数 16
回答已采纳
2
回答
如何在与Spring Cloud Data Local服务器不同
的
服务器上运行任务
spring-boot
、
spring-batch
、
spring-cloud-dataflow
、
spring-batch-admin
、
spring-batch-job-monitoring
我想托管一个Spring Cloud数据流本地服务器,用于监控和执行我
的
各种Spring Boot
批处理
项目。我想要实现
的
问题或基础架构是,我希望我
的
Spring Cloud数据流服务器主机在服务器A上,该主机能够在服务器B上执行Spring Boot
批处理
/任务。 这是我试图实现
的
一个可能
的
配置吗?因为我有几个在不同服务器上运行Spring Boot
批处理
应用程序
。
浏览 5
提问于2019-10-18
得票数 0
1
回答
正在
关闭
Spark
Streaming
scala
、
apache-spark
、
apache-kafka
、
spark-streaming
我是
Spark
的
新手,我有一个问题。 我有火花流
应用程序
,使用Kafka。如果新
批处理
为空(假设batchDuration = 15分钟),有没有办法告诉我
的
应用程序
关闭
?
浏览 1
提问于2016-05-17
得票数 1
2
回答
如果SparkSession没有
关闭
,会发生什么?
scala
、
apache-spark
、
apache-spark-sql
//
spark
code here
spark
.close } //
spark
code here} 我知道SparkSession实现了Closeable,它暗示需要
关闭
它。但是,如果SparkSession只是像在Example2中那样创建,并且从未直接
关闭
,我想不出任何问题。如果
Spark</e
浏览 0
提问于2017-05-19
得票数 21
4
回答
在java中发出运行
的
关机钩子
java
、
batch-file
、
logging
、
cmd
、
shutdown-hook
此
挂钩
的
目的是将程序终止
的
日志文件写入日志文件。java
应用程序
被编译成jar文件并使用
批处理
文件执行,这意味着
应用程序
的
输出将进入cmd.exe窗口。当此cmd窗口
关闭
时,我希望
应用程序
记录它已
关闭
的
情况。
应用程序
的
目的是无限期运行,并在特定时间执行某些任务。因此,该程序在"While true“循环中执行一系列检查。我不明白为什么这个钩子不会记录<
浏览 2
提问于2014-01-29
得票数 0
回答已采纳
1
回答
从Java管理日志存储
java
、
logstash
我想管理来自Java
的
日志存储
的
启动和停止。有什么简单
的
方法吗? 因此,有人能给我一个例子,说明如何在不需要手动启动从run.bat启动
的
logstash实例
的
情况下启动logstash。
浏览 4
提问于2015-04-01
得票数 0
回答已采纳
1
回答
火花结构流处理已处理过
的
故障记录
apache-spark
、
spark-streaming
、
spark-structured-streaming
、
azure-eventhub
、
spark-streaming-kafka
我被困在火花结构流非常奇怪
的
问题。每当我
关闭
流并再次重新启动时,它将再次处理已处理
的
记录。我尝试使用
spark
.conf.set("
spark
.streaming.stopGracefullyOnShutdown",True),但我仍然有问题。谢谢,
浏览 4
提问于2022-03-29
得票数 0
1
回答
Spark
Streaming应用应在连续批量失败后停止
apache-spark
、
spark-streaming
我有一个带有
Spark
2.3.1
的
DStream流媒体
应用程序
。其中我正在从Kafka读取数据并写入Kerberized HDFS,但随机地我
的
批处理
开始失败,同时写入HDFS并异常显示kerberos相关
的
错误,但我
的
spark
应用程序
继续运行,所以我不知道我
的
批处理
失败我
的
问题是,有什么方法可以限制连续
批处理
故障转移
的
数量吗?建议是否存在一
浏览 16
提问于2019-04-12
得票数 0
2
回答
避免对
spark
微批进行排队
apache-spark
、
spark-streaming
我已经创建了
spark
应用程序
,它从Apache flume获取输入数据。我将
spark
批处理
间隔设置为4分钟,这样
spark
将每隔4分钟处理一次数据。但是我有一些昂贵
的
spark
批处理
,这需要相当多
的
时间(比如30分钟),所以在这段时间内,大约7个
spark
批处理
将在队列中等待,一旦昂贵
的
批处理
执行完成,它将一个接一个地开始处理。通过这种方式,我
的</e
浏览 1
提问于2019-09-28
得票数 3
1
回答
未批量返回时间戳
batch-file
、
scripting
、
cmd
、
timestamp
如果exe文件
的
时间戳在最新版本之前,我正在尝试运行
批处理
文件来更新一些软件。为此,我使用了一个众所周知
的
for循环。当我这样做
的
时候:for %%a in (%file%) do set olddate=%%~taset
spark
_exe=%ProgramFiles%\
Spark
\
Spark
.ex
浏览 3
提问于2015-02-20
得票数 0
1
回答
如何让火花流处理多批次?
scala
、
apache-spark
、
apache-kafka
、
spark-streaming
Spark
使用并行性,但是在测试我
的
应用程序
和查看sparkUI时,我经常注意到在“活动
批处理
”下
的
“活动
批处理
”下,其中一个
的
状态是“正在处理”,其余
的
是“排队”。有没有可以配置
的
参数,让
Spark
同时处理多个批次? 注意:我使用
的
是大于1
的
spark
.streaming.concurrentJobs,但这似乎不适用于
批处理
(?)
浏览 0
提问于2018-07-09
得票数 1
1
回答
使用
Spark
structured streaming 2.2 batch API管理Kafka偏移量
apache-spark
、
apache-kafka
、
spark-streaming
只想知道Kafka偏移量
的
检查点是否适用于
Spark
structured stream (2.2)
批处理
API,或者我们需要管理偏移量吗?
浏览 2
提问于2018-01-16
得票数 1
1
回答
Spark
Streaming中
的
"Job Duration“和"Batch Processing Time”有什么区别?
apache-spark
、
spark-streaming
我
的
应用程序
在
Spark
UI中
的
作业持续时间如下:请注意,
批处理
时间通常比作业持续时间长。那么,它们之间
的
区别是什么呢?
浏览 0
提问于2016-01-15
得票数 1
1
回答
火花流卡夫卡背压
apache-spark
、
apache-kafka
、
streaming
、
backpressure
、
spark-streaming-kafka
我们有一个
Spark
流
应用程序
,它从接收端
的
Kafka队列中读取数据,并对HDFS进行一些转换和输出。间歇间隔为1 1min,我们已经对背压和
spark
.streaming.receiver.maxRate参数进行了调整,所以大部分时间工作得很好。 但我们还有一个问题。当HDFS完全
关闭
时,
批处理
作业将挂起很长时间(假设HDFS不工作4小时,作业挂起4小时),但接收方不知道作业未完成,因此仍在接收下4个小时
的
数据。这会导致OOM异常,并且整个
应用程序
被
浏览 2
提问于2016-04-15
得票数 6
1
回答
使用power Shell或windows
批处理
文件
的
Spark
代码自动化
windows
、
scala
、
powershell
、
apache-spark
、
batch-file
我有一个场景,在这个场景中,我们将apache与sql服务器连接起来,将表
的
数据加载到
spark
中,并从中生成aparquet文件。下面是我
的
代码片段:val jdbcDF = (
spark
.read.format("jdbc").lo
浏览 3
提问于2021-12-15
得票数 0
回答已采纳
1
回答
JanusGraph液滴抛出OperationTimedOutException
cassandra
、
gremlin
、
titan
、
janusgraph
然而,相同
的
命令在Ubuntu中工作。at org.janusgraph.core.JanusGraphFactory$drop$0.call(Unknown Source) 任何帮助都是非常感谢
的
。
浏览 2
提问于2018-03-23
得票数 1
1
回答
如何在单个
spark
作业中接收不同
的
spark
数据帧
apache-spark
、
spark-streaming
、
etl
、
databricks
、
delta-lake
我想用
spark
编写一个ETL管道来处理不同
的
输入源,但是使用尽可能少
的
计算资源,并且使用‘传统
的
’
spark
ETL方法会有问题。我如何才能在一个
spark
应用程序
中以最小
的
延迟将它们全部摄取?由于需要
的
数据源源不断,听起来就像流媒体一
浏览 11
提问于2020-05-05
得票数 1
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
五大最佳数据框架的快速比较
网站打开503报错,应用程序池频繁自动关闭的解决方案
一文读懂Apache Spark
Zzreal的大数据笔记-SparkDay01
Hadoop MapReduce与Apache Spark
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券