Linkerd 数据平面的代理是多线程(multithreaded)的， 并且能够运行可变数量的工作线程， 以便它们的资源使用(resource usage)与应用程序工作负载(application workload)相匹配。
int OSContainer::active_processor_count() {
在文章中，我们提到了 Linux 用来管理和限制 Linux 进程组资源使用的 CGroup 机制。本文我们就来详细介绍一下。
Docker 上手很容易，但如果将其应用于生产环境，则需要对它有更深入的理解。只有这样，才能确保应用符合我们的预期，或在遇到问题时可及时解决。所以，要想真正掌握 Docker 的核心知识，只靠网络上零散的信息往往是不够的，必须系统性地学习。
本文针对大数据平台中资源控制这个层面来详细介绍资源控制在不同操作系统上的具体技术实现，以及大数据平台和资源控制的集成。
LXC 就是 Linux 容器工具，容器可以提供轻量级的虚拟化，以便隔离进程和资源，使用 LXC 的优点就是不需要安装太多的软件包，使用过程也不会占用太多的资源。LXC 是在 Linux 平台上基于容器的虚拟化技术的未来标准，最初的 LXC 技术是由 IBM 研发的，目前已经进入 Linux 内核，这意味着 LXC 技术将是目前最有竞争力的轻量级虚拟容器技术。本文将循序渐进地介绍在 Linux 容器中如何管理几种主要资源设备：内存、CPU 、硬盘存储器。 什么是虚拟机的重要资源 资源管理是将资源从资源提供方
NGINX is well known as a high performance load balancer, cache and web server, powering over 40% of the busiest websites in the world. Most of the default NGINX and Linux settings work well for most use cases, but it can be necessary to do some tuning to achieve optimal performance. This blog post will discuss some of the NGINX and Linux settings to consider when tuning a system. There are many settings available, but for this post we will cover the few settings recommended for most users to consider adjusting. The settings not covered in this post are ones that should only be considered by those with a deep understanding of NGINX and Linux, or after a recommendation by the NGINX support or professional services teams. NGINX professional services has worked with some of the world’s busiest websites to tune NGINX to get the maximum level of performance and are available to work with any customer who needs to get the most out of their system.
java.lang.OutOfMemoryError: unable to create new native thread
Docker容器在默认情况下会使用宿主机的所有CPU和内存资源，为了明确限制每一个Docker容器的运行资源，需按如下操作。
• request(需求资源)：即运行Pod的节点必须满足运行Pod的最基本需求才能运行Pod • limit(资源限额)：即运行Pod期间，可能内存使用量会增加，可以在yaml文件中设定最多能使用多少内存配置资源限额
QOS是K8S中的一种资源保护机制，其主要是针对不可压缩资源比如内存的一种控制技术。比如在内存中，其通过为不同的Pod和容器构造OOM评分，并且通过内核策略的辅助，从而实现当节点内存资源不足的时候，内核可以按照策略的优先级，优先kill掉那些优先级比较低（分值越高，优先级越低）的Pod。
前几章节的回顾： docker-01 docker-02 docker-03 docker-04 今天我们介绍关于docker容器的命令，没错就是container 一.docker容器命令 要跑通容器首先我们需要有基础镜像 所以我们先拉取一个Ubuntu系统 服务器系统为centos，所以我这里拉取Ubuntu系统 指令： docker pull ubuntu 结果： Using default tag: latest latest: Pulling from library/ubuntu 08
在 Linux 系统上管理系统资源的推荐工具是 cgroups。虽然在可以调整的限制方面（CPU、内存、磁盘 I/O、网络等）非常强大，但配置 cgroups 并不简单。nice 命令从 1973 年起就可以使用了。但它只是调整在一个处理器上竞争时间的进程之间的调度优先级。nice 命令不会限制一个进程在单位时间内所能消耗的 CPU 周期的百分比。cpulimit 命令提供了两个世界的最佳方案。它限制了一个进程在每单位时间内可以分配的 CPU 周期的百分比，而且相对容易调用。
上面是说的cgroups 是内核提供的功能，但现在我们在用户空间想使用的是cgroup的功能。其原理是：linux 内核有一个很强大的模块叫做VFS(vritual File System)，VFS 把具体的文件系统的细节隐藏起来，给用户态进程提供一个完备的文件系统API接口。linux 也是通过VFS 把cgroups 功能暴漏给用户态进程的，cgroups 与VFS 之间的衔接部分叫做cgroups 文件系统。
Open Container Initiative(OCI)目前有2个标准：runtime-spec以及image-spec。前者规定了如何运行解压过的filesystem bundle。OCI规定了如何下载OCI镜像并解压到OCI filesystem bundle，这样OCI runtime就可以运行OCI bundle了。OCI(当前)相当于规定了容器的images和runtime的协议，只要实现了OCI的容器就可以实现其兼容性和可移植性。implements中列出了部分OCI标准的实现。本文不讨论windows下的实现，具体参见Open Container Initiative Runtime Specification
Linux的核心思想之一就是”一切皆文件”。即Linux中所有的内容都是以文件的形式保存和管理的，它为不同类型的文件提供了统一的操作接口，对于不同类型的文件，我们都可以使用fopen()/fclose()/fwrite()/fread()等对这些文件进行读写处理。在Linux中，普通文件、目录、链接文件、字符设备、块设备以及网络套接字等等都以文件的形式存在。
cgroups（全称：control groups）是 Linux 内核的一个功能，它可以实现限制进程或者进程组的资源（如 CPU、内存、磁盘 IO 等）。
执行命令docker run即可启动容器，也就是创建某个镜像的实例。docker run命令非常复杂，可以先执行一个docker run --help来查看帮助：
谈到让Go程序监控自己进程的资源使用情况，那么就让我们先来谈一谈有哪些指标是需要监控的，一般谈论进程的指标最常见的就是进程的内存占用率、CPU占用率、创建的线程数。因为Go语言又在线程之上自己维护了Goroutine，所以针对Go进程的资源指标还需要加一个创建的Goroutine数量。
worker_processes指令是用来设计Nginx进程数，官方默认设为1，赋值太多了，将会对系统IO影响效率，降低Nginx服务器性能。但是为了让多核CPU能够更好的处理并行任务，我们可以讲该值设置大一些，最好这个值是机器CPU的倍数，并不是越大越好。 worker_cpu_affinity
今天同事反映一个问题，某个测试库修改了密码，并改了相关应用使用的密码后，仍出现一会账户就被锁住，报ORA-28000: the account is locked的错误。 检查过程： 1. 查看资源限制生效参数 SQL> show parameter resource NAME TYPE VALUE ------------------------------------ ----------- ------------------------------ resource_limit boolean FALSE FALSE表示未启动资源限制。 2. 查看该用户所用的PROFILE SQL> select resource_name, limit from dba_profiles where profile='DEFAULT'; RESOURCE_NAME LIMIT -------------------------------- ---------------------------------------- COMPOSITE_LIMIT UNLIMITED SESSIONS_PER_USER UNLIMITED CPU_PER_SESSION UNLIMITED CPU_PER_CALL UNLIMITED LOGICAL_READS_PER_SESSION UNLIMITED LOGICAL_READS_PER_CALL UNLIMITED IDLE_TIME UNLIMITED CONNECT_TIME UNLIMITED PRIVATE_SGA UNLIMITED FAILED_LOGIN_ATTEMPTS 10 PASSWORD_LIFE_TIME UNLIMITED PASSWORD_REUSE_TIME UNLIMITED PASSWORD_REUSE_MAX UNLIMITED PASSWORD_VERIFY_FUNCTION NULL PASSWORD_LOCK_TIME 1 PASSWORD_GRACE_TIME 7 其中FAILED_LOGIN_ATTEMPTS表示连续登陆失败的次数，这里表示连续登陆10次失败则锁定用户。 3. 解除用户锁定ALTER USER pss3 ACCOUNT UNLOCK;后观察现象 SQL> select name, lcount from user$ where name='PSS3'; NAME LCOUNT ------------------------------ ---------- PSS3 10 不到一分钟，登陆失败次数就到10次了。 初步结论： 可能有应用仍使用旧的密码登陆，登陆失败后重复尝试，直到10次为止。 但问题就来了： 1. FAILED_LOGIN_ATTEMPTS设置为10次，但未启动resource_limit，为什么还受到10次的限制呢？ 2. 怎么知道还有哪些应用由于未修改密码导致ORA错误呢？ 问题1：FAILED_LOGIN_ATTEMPTS设置为10次，但未启动resource_limit，为什么还受到10次的限制呢？ 这篇MOS文章160528.1(Profile Limits (Resource Parameter(s)) Are Not Enforced / Do Not Work)文章说了一些： After creating a new profile or altering an old one to limit the following profile resources there is no change: SESSIONS_PER_USER CPU_PER_SESSION CPU_PER_CALL CONNECT_TIME IDLE_TIME L
了解Docker基本原理和要掌握的内容之后，我们就正式开始Docker的学习了。本篇内容主要介绍Docker的镜像和容器。
说到NIO大家都不会陌生，它是JDK中提供的IO工具集。 它又被称作为New I/O或Non Blocking I/O。相较于传统面向流的java.io，nio是完全面向缓冲的I/O，它提供了更底层的操作。
QoS(Quality of Service) 即服务质量，QoS 是一种控制机制，它提供了针对不同用户或者不同数据流采用相应不同的优先级，或者是根据应用程序的要求，保证数据流的性能达到一定的水准。kubernetes 中有三种 Qos，分别为：
从 Linux 内核 2.6.25 开始，CGroup 支持对进程内存的隔离和限制，这也是 Docker 等容器技术的底层支撑。
当散列有少量条目且最大条目不超过给定的阈值时，使用内存高效数据结构对其进行编码。可以使用以下指令配置这些阈值：
NGINX是众所周知的高性能负载均衡器、缓存和web服务器，为世界上40%以上最繁忙的网站供电。对于大多数用例，默认的NGINX和Linux设置工作得很好，但是要获得最佳性能有时需要进行一些调整。这篇博客文章讨论了在优化系统时要考虑的一些NGINX和Linux设置。
前言： Influxdb也是有influxdata公司(www.influxdata.com )开发的用于数据存储的时间序列数据库.可用于数据的时间排列。在整个TIG(Telegraf+influxdb+grafana)方案中，influxdb可算作一个中间件，主要负责原始数据的存储，并按照时间序列进行索引构建以提供时间序列查询接口。在整个TIG方案中，应该先构建的就是Influxdb。 Influxdb研究与实践： influxdb介绍： 使用TSM(Time Structured Merge)存储引擎，
通常情况下，我们一台宿主机上会同时启动多个Docker容器，而在默认情况下，Docker是没有限制其运行的容器所使用的硬件资源，比如CPU，内存，IO等。而在实际环境中，往往一个容器的负载过高，会占用宿主机的大部分资源，会导致其他容器的访问资源被抢占，而出现响应超时或无法响应等情况。
在 Singularity 中如果需要限制容器的资源，也可以通过 Linux 的 cgroup 来实现。Singularity 对资源的限制是通过一个 .toml 文件来定义的，Singularity 提供了一个样例配置文件 /etc/singularity/cgroups/cgroups.toml，后面做资源限制的时候可以参考。
NRI 位于 containerd 架构中的 CRI 插件，提供一个在容器运行时级别来管理节点资源的插件框架。NRI可以用来解决批量计算，延迟敏感性服务的性能问题，以及满足服务SLA/SLO、优先级等用户需求，性能需求，比如通过将容器的 CPU 分配同一个 numa node，来保证 numa 内的内存调用。当然除了 numa，还有 CPU、L3 cache 等资源拓扑亲和性。
路径：tina/lichee/linux-4.9/arch/arm64/boot/dts/sunxi对应的设备树文件，如sun50iw11p1.dtsi
cgroups（control groups，控制组群） 是 Linux 内核的一个功能，用来限制、控制与分离一个进程组的资源（如CPU、内存、磁盘输入输出等）。它是由 Google 的两位工程师进行开发的，自 2008 年 1 月正式发布的 Linux 内核 v2.6.24 开始提供此能力。cgroups到目前为止，有两个大版本， 即 v1 和 v2 。
一、背景 近日在客户系统运维中发现，有系统在定时脚本执行期间会将Linux系统CPU利用率跑满，导致其他服务受到影响，故查阅资料发现有大神写的CPU利用率限制程序。 地址：CPU Usage Limiter for Linux 根据此编写脚本，配合定时任务放置在服务器上，达到限制程序CPU情况，可根据自己系统CPU核心数进行参数配置，会记录CPU超过阀值的日志，可供后期进行查看分析。 二、脚本 GIT地址:cpulimit.sh #!/bin/bash # auth:kaliarch # func:sys
elasticsearch-7.0.1/server/src/main/java/org/elasticsearch/monitor/os/OsProbe.java
进程是一个具有一定独立功能的程序关于某个数据集合的一次运行活动。它是操作系统动态执行的基本单元，在传统的操作系统中，进程既是基本的分配单元，也是基本的执行单元。进程的概念主要有两点：第一，进程是一个实体。每一个进程都有它自己的地址空间，一般情况下，包括文本区域（text region）、数据区域（data region）和堆栈（stack region）。文本区域存储处理器执行的代码；数据区域存储变量和进程执行期间使用的动态分配的内存；堆栈区域存储着活动过程调用的指令和本地变量。第二，进程是一个“执行中的程序”。程序是一个没有生命的实体，只有处理器赋予程序生命时（操作系统执行之），它才能成为一个活动的实体，我们称其为进程。
zram是基于内存压缩的块设备，怎么理解，假设我们申请一个1G的zram块设备，这个块设备并没有实际的物理存储区域，是用内存模拟的，当一个128MB的文件被写入到zram的块设备，这个文件会被经过"牛逼"的压缩算法，然后保存在zram临时申请的物理内存中。
系统性能一直是一个受关注的话题，如何通过最简单的设置来实现最有效的性能调优，如何在有限资源的条件下保证程序的运作，ulimit 是我们在处理这些问题时，经常使用的一种简单手段。ulimit 是一种 Linux 系统的内键功能，它具有一套参数集，用于为由它生成的 shell进程及其子进程的资源使用设置限制。
工作中需要对mongodb进程进行，控制它最多使用的内存，简单想了一下，想到可以使用linux中的cgroup完成此功能，于是研究了一下cgroup，在这里记录备忘一下。 概念 CGroup 技术被广泛用于 Linux 操作系统环境下的物理分割，是 Linux Container 技术的底层基础技术，是虚拟化技术的基础。CGroup 是 Control Groups 的缩写，是 Linux 内核提供的一种可以限制、记录、隔离进程组 (process groups) 所使用的物力资源 (如 cpu memor
PTFuzzer是基于AFL框架实现的一款开源fuzz工具，它采用了Intel Processor Trace硬件部件来收集程序执行的路径信息，改进了原来AFL通过编译插桩方式获取程序执行路径信息的方法。和AFL相比，硬件收集的路径信息更加丰富，同时可以直接对目标程序进行fuzz，无需源码支持。
User limits – limit the use of system-wide resources.
资源在 k8s 中是一个非常重要的关键因素，一些运维事故往往也就是因为一些资源限制设置的不合理而导致的。而合理的设置资源也是一门学问和经验，最近不停地被提及的 “降本增效” 通常也伴随着资源设置的优化。对于一个应用应该设置多少内存和 CPU，我觉得这不是我们在这里应该学习的（这都是实战经验积累的）。而我们需要知道的是，这些限制条件何时会被检查，会被谁检查，超过限制条件会引发什么问题。 这对于我们来说很重要，一方面实际出现问题，我们可以迅速知道原因；另一方面，这些限制条件还会和之后的调度、自动扩容/缩容有关系。所以本章节我们来看看它。
貌似限制的是CPU最大执行时间，以秒为单位。 为了验证上面的说法，我特地设计了以下的场景：我们首先运行一个死循环程序消耗CPU时间，同时把进程的最大CPU消耗时间设定在180秒，期待在这个时间点进程会被杀掉。 以下是验证过程：
我们在生产环境中经常可以发现有计算密集型任务争用NodeManager的CPU，以及个别Container消耗太多CPU资源导致其他系统服务抖动的情况。好在Hadoop 2.2版本之后，YARN通过利用Linux系统的cgroup机制支持了CPU资源隔离。本文先简单看看cgroup，然后分析一下YARN的CPU资源隔离的方案。
通过封装Paramiko这个SSH模块，我们可以实现远程批量管理Linux主机，在此基础上配合钉钉API接口可实现自动告警机制，定期自动检查设备状态，并推送到钉钉群内。
今天，内网测试服务器A总是运行一段时间就服务器进程自行退出了，给出了“Java Result ：137”这样的错误码。上网查了一下这个137，感觉没有啥有价值的东西。一开始怀疑项目中的JNI调用崩溃到底层，但是没有看到core.*这样的崩溃日志，同时也没有发现OOM的日志，也没有常见的Java 的堆异常log，关键是同样的环境，另外一台机器B，压力远比这个大，都稳定运行很长时间没有问题。下午又崩溃了两三次，一度怀疑Java是不是有什么bug，不过这个想法立马被我否认了，先从自己找原因。
https://www.memsql.com/blog/linux-off-cpu-investigation/
Linux系统里打开文件描述符的最大值，一般缺省值是1024，对一台繁忙的服务器来说，这个值偏小，所以有必要重新设置linux系统里打开文件描述符的最大值。那么应该在哪里设置呢？ 永久修改 编辑 /etc/security/limits.conf root soft nofile 65535 root hard nofile 65535 * soft nofile 65535 * hard nofile 65535 重新登录，不需要重启，ulimit -a可以看到文件打开数已经是65534了 [roo
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
云直播
