Mesos cpu软限制危险？

文章/答案/技术大牛

发布

0回答

cpu、mesos、isolation、dcos

我最近在我的Mesos集群上启用了cgroups/cpu隔离。我已经运行了一些压力测试(比如启动一些受cpu限制的程序，看看cpu-burst程序是否可以加入并获得它的cpu分配)，看起来Mesos对cpu进行了正确的切片。然而，我已经看到一些帖子声称cpu绑定的程序占用所有空闲cpu是危险的。我试图确切地理解软限制cpu的危

浏览 9提问于2017-01-05得票数 1

1回答

码头群与中观系统的资源利用

docker、docker-compose、docker-swarm、mesos、marathon

我在docker (使用compose.yml文件)和Mesos (使用marathon.json文件)中作为停靠容器运行我的应用程序。 cpus: '0.25'marathon.json："mem": 128.0,我发现内存是硬限制，cpu是软限制。也就是说，

浏览 0提问于2018-11-28得票数 0

2回答

我正在阅读，并看到以下声明：此资源表示有多少CPU核心可用。任务可以使用CPU的小数部分--这是可能的，因为Mesos从节点使用CPU共享，而不是保留特定的CPU。这意味着，如果您保留了1.5个CPU，您的进程将被允许每秒钟总共使用1.5秒的CPU时间。这可能意味着，在单个执行器中，两个进程每秒获得750毫秒的CPU时间，或者一个进程获得1秒的CPU时间，另一个进程在给定的秒内每个进程获得500毫秒的CPU</e

浏览 4提问于2015-12-24得票数 12

回答已采纳

1回答

在Mac os上为mesos-1.9.0运行make check时出错

macos、mesos

在mesos上运行mesos-1.9.0的make check时，我得到了一个关于'ulimit -u`‘的错误。我尝试在终端上为ulimit (ulimit -u 4096和ulimit -n 4096)设置硬限制和软限制，并更新我的.bash_profile并运行source ~/.bash_profile，但

浏览 15提问于2020-01-13得票数 0

1回答

马拉松如何限制直接调用的应用程序的资源？

mesos、marathon

我正在试验Mesos +马拉松，并通过创建一个由shell脚本组成的小“应用程序”开始简单，每5秒无限地记录一次消息。当我提供该应用程序时，我可以分配各种内存和CPU资源，这就引出了我的问题：如果马拉松直接生成一个shell脚本，那么它如何限制脚本资源的使用？该脚本可以执行并启动任何操作来消耗所有可用资源。我理解Docker或其他隔离机制将限制进程的功能，但我没有(显式)配置它。它是否在不需要显式配置容器的情况下动态创建某种容器？我正在OS X上进行测试。

浏览 4提问于2014-12-19得票数 4

回答已采纳

2回答

C:使用RLIMIT_FSIZE设置软限制的问题

我试图设置“软”限制，但当我设置软限制并打印出来时，它就完全错误了。怎么一回事？100000;

浏览 5提问于2015-02-15得票数 0

回答已采纳

1回答

当使用的cpu资源avg为71%时，Mesos* dcos从不允许服务启动。*

configuration、mesos、mesosphere

我遇到了一个问题，我们试图在我们的mesos dcos集群上运行几个服务，还有一些在运行spark流程和一些python服务。因此，在我们的小测试mesos集群中，我们每天使用70%的cpus资源。而且，人们希望启动的服务只是挂起，等待cpu提供的服务，这些服务可以在从节点上很好地满足，但是对于某些重发，是不允许分配的。一个典型的例子是，有7个cpu未使用，1-3个服务正在寻找提供0.5到2个cpu资源的cpu。是可以满足的。如果在视图上查看节点资源。我的问题是，是否有一个硬性的

浏览 1提问于2018-05-25得票数 0

回答已采纳

1回答

limits.conf不适用于Fedora 33上的SSH连接

fedora、limit、administration

我正试图对一个名为rlimited的组设置一个限制。我的/etc/security/limits.conf中有以下内容/etc/security/limits.d/文件夹中存在相同的文件。pam.d/sshd和/etc/pam.d/login文件，使其包含行但是，在运行ulimit -a时，新的SSH连接没有显示这五分钟的CPU</em

浏览 0提问于2020-12-20得票数 1

1回答

AWS ECS任务内存硬限制和软限制

amazon-web-services、memory、cluster-computing、amazon-ecs

我对ECS任务定义的硬内存和软内存限制的目的感到困惑。 IIRC软限制是调度程序在实例上为任务运行保留的内存量，硬限制是容器在被谋杀之前可以使用的内存量。我的问题是，如果ECS调度程序根据软限制将任务分配给实例，您可能会遇到这样一种情况:任务使用的内存高于软限制但低于硬限制，可能会导致实例超出其最大内存(假设所有其他任务使用的内存略低于或等于其软限制)。

浏览 2提问于2017-06-27得票数 43

回答已采纳

1回答

Mesos:用于资源分配的OS级技术是什么？

mesos

我对Mesos体系结构有很高的理解，但我不清楚用于实现资源分配的OS级技术。例如，Mesos提供了一个框架1 CPU和400 at内存，以及另一个框架2 CPU和1GB内存，这是如何在OS级别上实现的？

浏览 4提问于2016-08-07得票数 1

回答已采纳

1回答

Docker的Mesos/Marathon内存使用限制

docker、containers、mesos、marathon

我们使用mesos-Marathon创建了一个wordpress容器，我们分配了0.1CPU和64mb内存。当我们检查docker的统计数据时，我们观察到我们的内存分配与我们在马拉松中分配的内存分配不同，有没有办法更新Docker容器的内存使用限制，我们是否可以在恶魔级别为所有容器设置默认限制。(By Mesos / Docker demon level)提前感谢

浏览 1提问于2015-08-18得票数 1

1回答

在Mesos上的Spark比本地慢得多

apache-spark、spark-streaming、mesos

我在16CPU的64 GB RAM主机上运行了一个Spark Streaming进程。当我使用Mesos作为集群管理器(通过设置--master mesos://leader.mesos:5050)运行它时，它的运行速度比在本地模式(--master local[4])下运行的慢得多。我注意到的一件事是，有一个特定的任务在Mesos上比在Local上花费的时间要多得多。奇怪的是(也许这应该是问题的标题)是任务本身需要6秒，而它的阶段(只有一个阶段)只需要不到1秒。见附图(Me

浏览 0提问于2016-05-24得票数 1

1回答

当达到极限时，Mesos* cgroup不关闭任务。*

mesos、marathon、cgroups

我在测试mesos cgroup的隔离。看看会抛出什么样的错误。我用马拉松运行了下面的shell程序。分配了1MB内存和1个CPU。附加信息-从运行与-隔离=‘cgroup/cpu，cgroup/mem’Mesos版本- 0.25

浏览 4提问于2015-12-23得票数 3

2回答

当存在内存争用时，超出软内存限制的ECS容器会发生什么情况？

docker、amazon-ecs

假设我有一个2G内存的实例，一个任务/容器的软内存限制为0.5G，硬盘限制为0.75G。实例运行3个容器，每个容器消耗0.6G内存。现在需要添加第四个容器吗？3个正在运行的容器会发生什么？我理解CPU软限制和硬限制是如何工作的，因为CPU是一种动态资源(应用程序可以处理空闲CPU中的峰值)。然而，在内存的情况下，您不能真正从已经在使用它的容器中移除内存。

浏览 16提问于2019-01-10得票数 0

1回答

如何将google app引擎的“软内存限制”提高到2 2gb以上

python、google-app-engine、memory、google-cloud-platform

我使用此应用程序yaml文件超过了google应用程序引擎中的软内存限制(4到6 gb，软限制设置为2 gb)：service: snowresources: memory_gb: 16资源memory_gb似乎与“软限制”内存无关。

浏览 13提问于2019-08-13得票数 0

回答已采纳

1回答

AIX :/etc/security/限制文件参数

security、aix、ulimit

default: core = 2097151 data = 262144 stack

浏览 0提问于2016-05-04得票数 -1

1回答

如何限制一个进程与upstart一起使用多少cpu* (Ubuntu11.10)*

ubuntu、upstart

我想限制处理器功率的使用( Rails应用程序的Resque)，我发现这个新贵看起来很有希望，我可能会做我想做的事情： http://upstart.ubuntu.com/wiki/Stanzas#limit但是我不太确定如何使用它，比如说我希望进程最多使用我两个CPU中的50%，我应该在我的upstart文件中写些什么呢？

浏览 0提问于2012-01-02得票数 1

回答已采纳

2回答

Docker容器磁盘大小，mesos和marathon

docker、mesos、marathon

Marathon是否会对Docker容器应用程序施加磁盘空间资源限制？默认情况下，我知道Docker容器可以在其宿主VM中根据需要增长，但当我尝试让Marathon和Mesos创建和管理我的Docker容器时，我发现在安装包期间容器会用完空间。那么，如果Marathon确实施加了磁盘空间资源限制，有没有办法将其关闭？

浏览 3提问于2015-07-20得票数 1

2回答

对最大打开文件数的软限制处理

macos、unix

在我的应用程序中，我希望检测达到最大打开文件描述符数量的软限制的错误(如ulimit -n所报告的)。我确信应该有一个信号，但我找不到。有记录的信号与CPU和最大文件大小的软限制有关，但与文件描述符无关。有人知道怎么做吗？提前谢谢。

浏览 0提问于2012-05-15得票数 1

回答已采纳

1回答

我如何找到一个马拉松失控的过程？

mesos、marathon

我有一个mesos /马拉松系统，它在大部分情况下运行良好。有超过20个进程正在运行，其中大多数只使用CPU的一部分。然而，有时(特别是在开发期间)，一个进程会旋转起来，开始使用尽可能多的CPU。我可以在我的系统监视器上看到有一个固定的CPU，但我不知道是什么马拉松进程造成的。是否有显示马拉松作业CPU使用情况的监视器应用程序？随着时间的推移而显示出来的东西。这也将有助于理解缩放和CPU需求。跟踪内存使用情况很好，但仅次于CPU。

浏览 5提问于2016-12-16得票数 0

回答已采纳

点击加载更多