任务作业因为内存使用而被杀死？

文章/答案/技术大牛

发布

2回答

python、performance、dask

您好，我有一个python脚本，它使用dask库来处理非常大的数据帧，比物理内存还大。我注意到，如果内存使用率在一段时间内保持在计算机的100%，作业会在运行过程中被终止。编辑：dask.set_options(available_memory=12e9) 它没有起作用。它似乎没有限制它的内存使用。同样，当内存使用率达到100

浏览 17提问于2018-01-24得票数 3

回答已采纳

2回答

内存和内存配置中的Flink任务管理器

apache-flink、flink-streaming

我们使用Flink流在单个集群上运行几个作业。我们的工作是使用rocksDB来保持状态。集群配置为在3个单独的VM上运行单个Jobmanager和3个Taskmanager。每个TM被配置为使用14 of的RAM运行。JM被配置为运行1GB。我们遇到了两个与内存相关的问题：-当运行具有8GB堆分配的任务管理器时，TM耗尽了堆内存，而堆出现了内存异常。这个配置似乎解决了这个问题，因为</em

浏览 0提问于2018-06-12得票数 3

3回答

linux中的内存不足控制哪个程序死掉

linux

然而，这正在导致扼杀一两个进程，而我们希望这些进程是在这种情况下被杀死的最后一个进程。我们如何告诉linux，请不要杀死pid XXXX和pid YYY，并首先杀死其他作业，包括必要时占用所有CPU的作业，因为该作业(我们正在运行的作业)比其他两个进程的生存优先级低。基本上，我们使用cassandra数据库运行map/reduce作业，linux决定杀死cassandra，而</e

浏览 0提问于2013-09-18得票数 0

回答已采纳

2回答

我想使用cgroups强制实施内存限制。可以为TaskTracker分配一个cgroup，但是如果作业造成严重破坏，TaskTracker可能也会被oom-killer杀死，因为它们在同一个组中。假设我在一台机器上有8 8GB内存。我想为DataNode和系统实用程序保留1.5 of，让Hadoop TaskTracker使用6.5 of的内存。现在，我在spawns、4个映射器和2个reducers (理论上每个都可以使用1 1GB

浏览 0提问于2013-02-27得票数 2

1回答

预览中的net.jpountz.lz4.LZ4BlockInputStream.<init>(Ljava/io/InputStream;Z)V :java.lang.NoSuchMethodError

google-cloud-data-fusion

我正在使用joiner +写回BigQuery来加入2个BigQuery表。在预览中，我得到这个错误: net.jpountz.lz4.LZ4BlockInputStream.(Ljava/io/InputStream;Z)V :java.lang.NoSuchMethodError 我已经将作业设置为Spark而不是Map/Reduce，因为Map/reduce会在预览中产生内存不足问题当我部署并运行该作业时，由于"Container<

浏览 0提问于2019-05-10得票数 2

1回答

创建暂停的后台就业机会

bash、sh、background-process、jobs

使用Bash，如何在暂停/停止状态下启动后台作业？for i in inputs-list; dodonefor i in inputs-list; domemory-hog $i &我希望我的进程从后台、挂起的作业开始；然后使用bg恢复其中的一些任务，同时监视内存</

浏览 3提问于2016-12-13得票数 0

回答已采纳

1回答

由于内存需求==内存限制而导致AWS批处理作业终止？

amazon-web-services、amazon-ecs、aws-batch

在AWS批处理中，当我指定内存要求(例如，32000 my )时，我的工作最终被终止，因为(a)自动选择的实际实例有64 is内存，(b) ECS似乎同时将32000 my视为需求和硬限制(“如果容器试图超过此处指定的内存，容器就会从中被杀死”)。如何正确地指定最小内存需求，而不会导致AWS批处理杀死略高于此要求的作业？在我看来，“内存”参数似乎既是最小值，也是最大值，这似乎很奇怪。我想我是误会了

浏览 5提问于2021-02-24得票数 3

1回答

与“公共汽车错误”相撞对slurm工作意味着什么？

slurm、bus-error

当通过slurm srun --pty bash运行Python脚本时，我会得到一个神秘的错误消息Bus error: core dumped。怎么回事，我该怎么解决呢？

浏览 24提问于2021-10-29得票数 0

回答已采纳

1回答

如何安全地重新启动气流并杀死长期运行的任务？

celery、spark-streaming、databricks、airflow

气流提交和监测火花作业使用。我试过用一个术语信号杀死芹菜工人，但显然这会

浏览 4提问于2020-07-28得票数 0

2回答

检测到子进程因操作系统内存不足而被终止。

c++、windows、macos、unix、memory

我正在开发一个大规模的应用程序，它产生了许多处理各种任务的进程。在某些情况下，由于内存压力，操作系统会杀死我的一个进程。没关系，这完全是意料之中的，父进程很好地处理了这个问题。我想知道的是找出为什么一个过程被扼杀了。如果它是因为记忆压力而死亡的话，我想过一会儿再进行治疗。如果它是因为其他原因而被杀死的--比如说，由于断言失败或内存超出范围的访问，我想记录并调查。那么，我的问题是:您如何发现一个子进程因为操作系统需要内存</em

浏览 2提问于2019-11-19得票数 2

1回答

如何防止长时间运行的备份作业被终止

linux、memory-management、backup、tar

如何防止长时间运行的基于tar的内存密集型备份脚本被终止？我有一个cron作业，每天运行一个命令，如下所示： tar --create --verbose --preserve-permissions --gzip --file "{backup_fn}" {通常生成的文件是100 it，但是在我升级到Ubuntu 16后，现在的日志文件显示进程在整个过程中被杀死了大约25%，大概是因为它消耗了大量内存和/或给系统带来了太多的负载。我如何告诉内核不要

浏览 1提问于2016-10-04得票数 0

1回答

在作业运行期间，如果我所需的资源不足，会发生什么情况？

hpc、slurm

在slurm中，如果在作业运行期间我所需的资源不够，会发生什么情况？在我运行sbatch myscript.sh之后，成功地为作业分配了所需的cpu (2)和内存(10G)。但是在作业运行过程中，程序需要超过10 Gb的内存(就像加载一个大的视频数据集)，我发现作业不会被终止。该作业仍将正常工作。所以我的问题是:当我低估了我需要的资源时，有没有什么副作用？(内存似乎还可以，但是如果所需的cpu数量不够，是否仍然可以呢？)

浏览 17提问于2020-08-07得票数 0

1回答

Scikit学习-诊断并行作业何时被卡住

python、parallel-processing、scikit-learn

当并行作业被困在Scikit学习中时，正确的诊断方法是什么？具体来说，我已经完成了几个任务(htop没有显示CPU活动)，但是python停止了响应。按下Ctrl+c不会退出(虽然它确实注册了一个KeyboardInterrupt，但它没有杀死process)，并且必须从shell中删除该进程。内存的总使用量接近机器的容量，但我没有收到明显的错误，即存在MemoryError。我怀疑这是内存问题，因为在内存更多的机器上，作业似乎没有

浏览 2提问于2014-01-13得票数 1

回答已采纳

1回答

gitlab运行器:终止另一个退出状态为0的作业

continuous-integration、yaml、sh、gitlab-ci、jobs

我在centos 7上使用了gitlab-runner。我已经创建了一个有多个任务的管道。有一个作业在继续运行，我需要在另一个作业中停止该作业，所以我在第二个作业(在gitlab-ci.yml文件中)中使用以下命令终止了另一个作业中的进程(作业)。script: - ps -ef | grep ProcessName | awk '{print $2}' | xargs kill -9 当第二个作业<

浏览 42提问于2020-08-21得票数 1

回答已采纳

1回答

Python脚本由于linux中的“终止”而停止。

python、sigterm

但我的剧本被“终止”并停止。因此，我在另一个屏幕上运行strace -p 253141。

浏览 22提问于2022-08-26得票数 0

1回答

火花ExecutorLostFailure内存超过

memory-management、apache-spark、hadoop-yarn、coalesce

几天来，我一直在努力争取完成一项火花作业，但我终于能够完成这项工作，但仍然有大量的任务失败，执行者在执行任务时被以下消息杀死： ExecutorLostFailure (执行器77因运行任务之一而退出)原因:由于超出内存限制而被纱线杀死的容器。使用了45.1 GB的44.9GB物理内存。我猜合并导致了混乱，而且由于集群的内存已经很低，它把它推得太

浏览 1提问于2016-06-03得票数 2

2回答

Jenkins突然显示“包装器脚本似乎没有接触日志文件”，并用失败消息超时。

ubuntu、jenkins、npm、groovy

我已经在LEMP堆栈环境中使用Jenkins多年了。这是作业日志，显示执行、npm、运行build、时的错误。我尝试使用下面的命令添加编辑心跳间隔，但最后只需要等待更多的时间获得相同的错误：你们有什么建议？！

浏览 4提问于2019-05-24得票数 9

2回答

iOS在一段时间后在后台终止应用程序

objective-c

你能指定在多少电量消耗后，iOS开始杀死后台应用程序？？任何帮助都将不胜感激。

浏览 2提问于2014-11-24得票数 1

1回答

如何将大型xml文件解压缩到一个HDFS目录中

hadoop、apache-spark、mapreduce、hdfs、hadoop-yarn

首先，我实现了Map-Reduce程序，编写了一个自定义InputFormat和自定义RecordReader来解压文件并将这些内容提供给映射器，然后每个映射器处理并使用MultiOutput格式写入HDFSmap reduce作业在纱线上运行。当输入大小为MB时，这种方法可以很好地在HDFS中获取解压格式的文件，但当输入大小为GB时，作业将无法写入，并以以下错误结束。很明显，每个解压缩的文件都是由一个映射器处理的，而运行映射器的纱线子容器无法在内存中保存大文件。

浏览 0提问于2017-07-04得票数 2

2回答

Server标准2014:重新索引被其他事务锁定的作业

sql-server、database-design、index、locking

这是一个繁重的事务模式(特别是在夜间)，我们有一个计划好的REINDEX维护任务，每天凌晨4点运行。我们已经注意到，今晚重新索引作业在特定表上的alter index上停留了大约45分钟，因为它被另一个事务锁定(用户发出的UPDATE语句，对于我们的系统来说是一个非常常见的事务)。因为我们已经收到了用户的投诉，负责夜间检查的人提前杀死了交易(包括重新索引)；当他杀死它时，当前的ALTER INDEX语句被阻塞了45分钟，但整个REINDEX的工作在那一刻花费了将近4个小

浏览 0提问于2019-12-13得票数 0

回答已采纳

点击加载更多