来源：https://www.cnblogs.com/txlsz/p/13683892.html
Linux进程数超过了设置的最大进程数。会对系统进行资源限制，所以分配给ssh进程的资源时有时无，一些命令的bash进程会被杀调，以保证系统进程不超过设置的最大进程数，无法正常执行。即下面的第一个输出要远远小与第二个和第三个输出。如果有些接近就会出现这种问题
如非必须，关掉或卸载iptables防火墙，并阻止kernel加载iptables模块。这些模块会影响并发性能。
我在知乎和公众号上都提到过，我 2012 在腾讯工作的时候写过一篇《Linux文件系统十问》。总有人问我这篇文章在哪里能看到，如今外网唯一的正版链接-腾讯学堂也挂了，网上能搜到的全是盗版。所以今天我干脆就正式给大家发一遍。
腾讯云大数据团队服务的某个大客户，hadoop集群超过300台服务器。因为大数据平台承载的业务程序非常多（每天超过5万次任务运行在yarn）、datanode的IO压力很大，在今天下午datanode出现大面积故障。通过日志查找，发现以下信息：
公司的计算平台上，写入spark-history目录日志文件数超过设定阈值（1048576），导致任务失败。
nginx的IO模型，大家应该都有所了解。简单而言，就是一个master进程和多个worker进程（进程数由配置决定）；master进程负责accept请求并队列化，最后转发给worker进程并由其进行请求处理和响应的整个过程。
我们知道单机的端口最多65536，除去系统使用的端口， 留给程序使用的也就6万个端口， 在需要对单机做长连接压力测试的时候，如果要测60W的长连接并发，就得找10台机器，而一般情况下我们并没有这么多的空闲机器去做这种规模的测试，那如何用两台机器模拟百万连接呢？对于TCP的连接，系统用一个4四元组来唯一标识：{server ip, server port,client ip,client port}。这里有两个变量是固定的， server ip与clinet ip。能做文章的也就是两台服务器的端口号了。如果server port 只开启一个端口的话， 那一台client最多也就 6W个连接能连上，多了因为端口的限制无法创建新的连接。如果server端多开几个端口，根据TCP的唯一标识，我们便能够模拟超过6W的连接测试了。处面是具体的代码，项目依赖netty，版本为4.1.25.Final。
worker_processes指令是用来设计Nginx进程数，官方默认设为1，赋值太多了，将会对系统IO影响效率，降低Nginx服务器性能。但是为了让多核CPU能够更好的处理并行任务，我们可以讲该值设置大一些，最好这个值是机器CPU的倍数，并不是越大越好。 worker_cpu_affinity
为了快速构建项目，使用高性能框架是我的职责，但若不去深究底层的细节会让我失去对技术的热爱。 探究的过程是痛苦并激动的，痛苦在于完全理解甚至要十天半月甚至没有机会去应用，激动在于技术的相同性，新的框架不再是我焦虑。 每一个底层细节的攻克，就越发觉得自己对计算机一无所知，这可能就是对知识的敬畏。
系统负载能力浅析 互联网时代，高并发是一个老生常谈的话题。无论对于一个web站点还是app应用，高峰时能承载的并发请求都是衡量一个系统性能的关键标志。像阿里双十一顶住了上亿的峰值请求、订单也确实体现了阿里的技术水平（当然有钱也是一个原因）。 那么，何为系统负载能力？怎么衡量？相关因素有哪些？又如何优化呢？ 一. 衡量指标 用什么来衡量一个系统的负载能力呢？有一个概念叫做每秒请求数（Requests per second），指的是每秒能够成功处理请求的数目。比如说，你可以配置tomcat服务器的maxCon
网上说什么的也有，你抄我的我抄你的，也是醉了，故自己综合查阅的资料，根据自己的理解和判断以及部分的实践整理下吧，也不敢保证都是对的，如果有比较大的错误，希望看到这篇文章的你提出来，大家共同进步！
Kafka的消息是保存或缓存在磁盘上的，一般认为在磁盘上读写数据是会降低性能的，因为寻址会比较消耗时间，但是实际上，Kafka的特性之一就是高吞吐率。
Nginx(读音engine x)服务器由于性能优秀稳定、配置简单以及跨平台，被越来越多的公司和个人所采用，现已成为市场份额继Apache之后的第二大Web服务器。各大小网站论坛博客也介绍说明了Nginx从安装到优化的各种配置。
在上篇文章 每个后端都应该了解的OpenResty入门以及网关安全实战 中，我向大家介绍了 OpenResty 的入门使用是 WAF 防御实战，这篇文章将给大家继续介绍 OpenResty 入门之性能测试 篇。
在上篇文章 每个后端都应该了解的 OpenResty 入门以及网关安全实战 中，我向大家介绍了 OpenResty 的入门使用是 WAF 防御实战，这篇文章将给大家继续介绍 OpenResty 入门之性能测试 篇。
根据IDC在2018年底的预测显示，由于大数据、AI、物联网、5G等因素的驱动，全球的数据量在2025年将高达175ZB（1ZB=1024EB，1EB=1024PB)。在中国市场，由于AI技术在安防等领域的大规模落地与应用，IDC预计，中国将在2025年成为拥有数据量最大的地区，甚至超过整个EMEA（欧洲+中东+非洲），其中绝大部分数据是非结构化数据。
一、 文件数限制修改 1、用户级别 查看Linux系统用户最大打开文件限制： # ulimit -n 1024 (1) vi /etc/security/limits.conf mysql soft nofile 10240 mysql hard nofile 10240 其中mysql指定了要修改哪个用户的打开文件数限制。 可用'*'号表示修改所有用户的限制；soft或hard指定要修改软限制还是硬限制；10240则指定了想要修改的新的限制值，即最大打开文件数(请注意软限制值要小于或等于硬限制)。 (
一个测试环境，nginx+php-fpm对外提供服务，测试人员访问的时候出现时快时慢的情况，慢时超过了正常网页的等待打开时间范围。重启nginx php-fpm后恢复，访问几次后又会慢
首先看 CPU 内存、硬盘 io 的消耗程度，其中重点是硬盘使用率，要做好准备，避免厂家期间业务写入增长，磁盘占满。
1、修改用户进程可打开文件数限制 在Linux平台上，无论编写客户端程序还是服务端程序，在进行高并发TCP连接处理时，最高的并发 数 量都要受到系统对用户单一进程同时可打开文件数量的 限制(这是因为系统为每个TCP连接都要创 建一个socket句柄，每个socket句柄同时也是一个文件句柄)。可使用ulimit命令查看系统允许当 前用户进程打开的文件数限制： [speng@as4 ~]$ ulimit -n 1024 这表示当前用户的每个进程最多允许同 时打开1024个文件，这1024个文件中还得除去每个进
在Linux下当我们操作一个文件数较少的目录时，例如执行ls列出当前目录下所有的文件，这个命令可能会瞬间执行完毕，但是当一个目录下有上百万个文件时，执行ls命令会发生什么呢，带着疑问，我们做了如下实验(实验中使用的存储设备为NVMe接口的SSD)：
Linux系统是虚拟内存系统，虚拟内存并不是真正的物理内存，而是虚拟的连续内存地址空间。虚拟内存又分为内核空间和用户空间，内核空间是内核程序运行的地方，用户空间是用户进程代码运行的地方，只有内核才能直接访问物理内存并为用户空间映射物理内存(MMU)。内核会为每个进程分配独立的连续的虚拟内存空间，并且在需要的时候映射物理内存，为了完成内存映射，内核为每个进程都维护了一张页表，记录虚拟地址与物理地址的映射关系，这个页表就是存在于MMU中；用户进程访问内存的时候，通过页表把虚拟内存地址转换为物理内存地址进而访问数据；其实对于用户进程而言，虚拟内存就是内存一般的存在(当作内存看待就好)。这样的设计可以把用户程序和系统程序分开，互不影响；内核可以对所有的用户程序进行管理，比如限制内存滥用等
作者：星辰算力平台 1. 背景 随着大数据、人工智能技术的蓬勃发展，人类对于算力资源的需求也迎来大幅度的增长。在腾讯内部，星辰算力平台以降本增效为目标，整合了公司的GPU训练卡资源，为算法工程师们提供统一的底层GPU算力服务。借助于虚拟化、算力挖掘等技术，平台服务公司内各BG的AI训练场景，GPU利用率业界领先。同时，通过云原生任务化的方式，对接了内部各大业务，促进了AI技术研究效率的提升和创新研究。 当下，由于AI训练时的高性能计算设备（如NVIDIA GPU）成本高昂，如果任务在训练过程中不能保证
在确定最大连接数之前，先来看看系统如何标识一个tcp连接。系统用一个4四元组来唯一标识一个TCP连接：{local ip, local port,remote ip,remote port}。
1.计算延迟时间: 使用–latency参数 以下参数表示平均超时时间0.03ms。 redis-cli --latency -h 127.0.0.1 -p 6800 min: 0, max: 4, avg: 0.03 (12235 samples) 注意:由于使用的是本机的回环地址，所以这样其实忽略了带宽上的延迟 使用redis内部的延迟检测子系统测试：见上一篇文章中“启用延迟监控系统“部分。 2.延迟标准: 使用–intrinsic-latency参数 需要运行在redis serv
图像往往是任何特定网页上最大的资源。虽然许多开发者花时间优化网页性能的其他方面，但减少图像的大小对性能的影响比所有其他方面加起来还要大。这篇文章将纯粹关注于可用于减少图片大小的不同工具。
如果你的项目中支持高并发，或者是测试过比较多的并发连接。那么相信你一定遇到过“Too many open files”这个错误。
内存就像是一个书包，容量有限，只能带着一部分东西。而图书馆则是一个专门存储和管理文件的地方，拥有更大的容量，并且可以永久保存文件。为了能够快速找到需要的文件，我们需要有一个书单来记录每本书放在哪里，这个书单就相当于文件系统的索引区，记录着文件的位置和相关信息。同时，为了提高访问效率，热门借阅的书会放在最前面供大家选择，避免每次都要去远处找书。通过良好的文件系统规划，我们可以提高数据管理的效率和安全性，本文将通过类似于图书馆的组织和管理方式再一步一步的讲解文件是如何放入磁盘的、索引节点等这些知识点。
内核中同步、交换、回收简要说明 同步、换出、回收三个操作的最小的单位是以页帧为单位，并且和磁盘文件系统操作紧密相关。比如一些针对文件的page缓存进行修改时候在一定时候需要把数据刷到后端的磁盘文件系统，这过程就是同步；进程的堆、栈、匿名映射区通过交换把这些数据换出到交换文件中，这个就是交换(换出)，当这些数据再次需要访问时候，就从交换文件中读取加载到内存中;回收操作涉及到物理页的使用问题，比如一个文件的两个dirty page数据flush到磁盘文件系统后，这个2个page回收到buddy系统已备侯勇。 同
当然磁盘到内核空间属于DMA拷贝（DMA即直接内存存取，原理是外部设备不通过CPU而直接与系统内存交换数据）。而内核空间到用户空间则需要CPU的参与进行拷贝，既然需要CPU参与，也就涉及到了内核态和用户态的相互切换，如下图：
为了不影响整个服务器的性能，每个Linux VPS的Inodes数目通常都有限制，Linux VPS如何查看Inodes数目？
当然，查看当前的磁盘和内存使用情况df -h，free -m，是否使用numa和swap，或是否频繁交互信息等。当然，还有其他的监控项目，这里就不一一赘述了。 除此之外，还需要关注日志类信息，例如：
过去二十年，存储硬件的性能提升了两个数量级。首先，是SSD的出现；然后是计算机总线接口从SATA到PCIe的转变；最后在非易失性内存技术和制造工艺上的创新。就在2019年的4月份，Intel发布了首个商业化存储级内存产品（SCM）Optane DC Persistent Memory，它使用了3D XPoint技术，位于内存总线上，并且进一步降低了IO的时延。
很多读者在看完百万 TCP 连接的系列文章之后，反馈问我有没有测试源码。也想亲自动手做出来体验体验。这里为大家的实践精神点赞。
为了让系统能够支持更大的并发，除了必须安装event扩展之外，优化linux内核也是重中之重。
Tips : OOM(Out Of Memory) killer机制是指Linux操作系统发现可用内存不足时，强制杀死一些用户进程（非内核进程），来保证系统有足够的可用内存进行分配。 Tips : swappiness参数在Linux 3.5版本前后的表现并不完全相同，Redis运维人员在设置这个值需要关注当前操作系统的内核版本。
“too many open files”这个错误大家经常会遇到，因为这个是Linux系统中常见的错误，也是云服务器中经常会出现的，而网上的大部分文章都是简单修改一下打开文件数的限制，根本就没有彻底的解决问题。
1.问题背景 在Linux下当我们操作一个文件数较少的目录时，例如执行ls列出当前目录下所有的文件，这个命令可能会瞬间执行完毕，但是当一个目录下有上百万个文件时，执行ls命令会发生什么呢，带着疑问，我们做了如下实验(实验中使用的存储设备为NVMe接口的SSD)： [root@localhost /data1/test_ls]# for i in {1..1000000}; do echo 'AAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAA' > $i.txt ; done [ro
Linux 的节点 inode inode是存储文件元信息的区域，中文译名为“索引节点”。所谓元信息，即文件的创建者、创建日期、文件的大小等等。每一个文件都有对应的inode，里面包含了与该文件有关的一些信息。 可以通过stat命令查看某个文件的inode信息。 📷 通过上面的操作，我们可以知道inode包含文件的元信息有以下内容： 文件名以及文件的大小（字节数），链接数，Uid 文件拥有者的ID，Gid 文件所属组的ID 文件的权限，包括读写执行权限(rwx) inode文件数据块的位置、数据块数、I
一. 衡量指标 用什么来衡量一个系统的负载能力呢？有一个概念叫做每秒请求数（Requests per second），指的是每秒能够成功处理请求的数目。比如说，你可以配置tomcat服务器的maxConnection为无限大，但是受限于服务器系统或者硬件限制，很多请求是不会在一定的时间内得到响应的，这并不作为一个成功的请求，其中成功得到响应的请求数即为每秒请求数，反应出系统的负载能力。 通常的，对于一个系统，增加并发用户数量时每秒请求数量也会增加。然而，我们最终会达到这样一个点，此时并发用户数量开始“压倒
https://www.cnblogs.com/huxiao-tee/p/4657851.html
为了让系统能够支持更大的并发，除了必须安装event扩展之外，优化linux内核也是重中之重，以下优化每一项都非常非常重要，请务必按逐一完成。
epoll简介 epoll 是Linux内核中的一种可扩展IO事件处理机制，最早在 Linux 2.5.44内核中引入，可被用于代替POSIX select 和 poll 系统调用，并且在具有大量应用程序请求时能够获得较好的性能（ 此时被监视的文件描述符数目非常大，与旧的 select 和 poll 系统调用完成操作所需 O(n) 不同， epoll能在O(1)时间内完成操作，所以性能相当高），epoll 与 FreeBSD的kqueue类似，都向用户空间提供了自己的文件描述符来进行操作。 [cpp]
大概就是，进程写文件（使用缓冲 IO）过程中，写一半的时候，进程发生了崩溃，会丢失数据吗？
文件 I/O 指的是对文件的输入/输出操作，就是对文件的读写操作；Linux 下一切皆文件，文件作为 Linux 系统设计思想的核心理念，在 Linux 系统下显得尤为重要，所以对文件的 I/O 操作既是基础也是最重要的部分。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
