Guider 是一款功能强大的全系统 Linux 性能分析器，旨在为开发人员、系统管理员和其他技术专业人员提供对 Linux 系统性能的深入洞察。它的目的是帮助用户识别和解决性能瓶颈，以便他们能够优化系统以实现最高效率。
负载均衡：在动态负载均衡器上设置动态分发负载的机制后，如果发现某个应用服务器上的硬件资源已经达到极限，动态负载均衡器会将后续请求发送到其他负载较轻的应用服务器上。此时若发现动态负载均衡器没有起到作用，则可以认为是网络瓶颈；
当您学会使用 eBPF 性能分析解锁详细洞察时，不可靠的数据将成为过去。了解如何细粒度且高效地监控 CPU、内存和网络数据。
作者简介：许庆伟，Linux Kernel Security Researcher & Performance Developer 众所周知，Linux内核和CPU处理器负责将虚拟内存映射到物理内存。为了提高效率，在一个称为页的内存组中创建一个内存映射，其中每个页的大小根据处理器的实际情况而来。尽管大多数处理器也支持更大的页，但默认通常是4 KB,。内核可以从页空闲列表中为物理内存页的申请提供分配，并且为了提高效率，为每个DRAM组和CPU均设计了维护这些请求的方案。内核程序可以通过分配器(比如slab分配
vmstat（VirtualMeomoryStatistics，虚拟内存统计）是 Linux 中监控内存的常用工具,可对操作系统的虚拟内存、进程、CPU 等的整体情况进行监视。
首先Binder是Android中的一种独有的跨进程通信方式，简称IPC。它是专门为Android平台设计的。
从应用程序或者应用开发者的角度来看，操作系统是计算机系统的核心软件，它为应用程序提供运行环境和基础服务。
1 背景 图像连通域标记算法是从一幅栅格图像（通常为二值图像）中，将互相邻接（4邻接或8邻接）的具有非背景值的像素集合提取出来，为不同的连通域填入数字标记，并且统计连通域的数目。通过对栅格图像中进行连
上一篇文章大概介绍了I/O的一些基本原理和技术，这篇我们主要介绍基于Linux系统的I/O的一些运行原理、监控方式。
内核和处理器负责将虚拟内存映射到物理内存。为了提高效率，会在称为页面的内存组中创建内存映射，其中每个页面的大小是处理器的详细信息。尽管大多数处理器也支持更大的容量，但通常有4 KB，Linux称其为 hugepage大页面。内核可以从其自己的空闲列表中为物理内存页面请求提供服务，内核为每个DRAM组和CPU维护这些请求以提高效率。内核自己的软件也通常通过内核分配器(例如slab分配器)从这些空闲列表中消耗内存。
在日常工作中，发现 MySQL 的状态不太对劲的时候，一般都会看看监控指标，很多时候会看到熟悉的一幕：CPU 使用率又爆了。本文会简单介绍一下 MySQL 和 CPU 之间的关系，对此有一些了解之后可以更准确的判断出问题的原因，也能够提前发现一些引发 CPU 问题的隐患。
本文旨在深入探讨Linux操作系统的虚拟内存管理机制。我们将从基本概念开始，逐步深入到内核级别的实现细节。为了达到这个目标，本文将结合理论讨论和实际的代码分析。我们希望通过这种方式，使读者对Linux虚拟内存管理有更深入的理解。
在Linux系统中，进程间的同步和通信是一个复杂而关键的话题。为了维护系统资源的正确访问和分配，Linux提供了多种同步机制，其中锁机制是其中之一。然而，当多个进程试图同时访问同一资源时，可能会出现死锁或竞争条件。为了有效地诊断和解决这些问题，Linux提供了lslocks命令，该命令可以显示系统上的活动锁信息，帮助系统管理员和开发者深入了解系统资源的使用情况。
脏牛(Dirty COW，编号：CVE-2016-5195)是2016年10月18日被曝出的存在于Linux内核中的一款0day漏洞。因为此漏洞是在Linux内核的内存子系统在处理写时拷贝(Copy-on-Write)时发生的，而又给Linux内核的使用带来烦恼，所以将其命名为“Dirty COW”。
一、通常服务器的性能会卡在三个地方： cpu 网络IO 磁盘IO 二、在优化性能的时候，首先要判断性能的瓶颈在上述的哪个地方。然后对症下药，按照下面的方法来优化： 1、提高CPU性能的方法 并发。利用多线程、进程。老的线程库效率太低，需要升级用nptl 。进（线）程数不要大于cpu个数 （请参考：http://www.ibm.com/developerworks/cn/linux/l-threading.html） 谨慎用锁。改善架构，尽量不用锁。 慎用字符串操作，比如sprintf,snprintf，因为
这是 Linux 性能分析系列的第三篇，前两篇分别讲了 CPU 和 内存，本篇来看 IO。
Linux采用C语言编写(在C中有嵌入汇编成分)。本文想要用Java这门语言在软件层面上模拟出Linux。
如果性能测试的目标服务器是linux系统，在如何使用linux自带的命令来实现性能测试过程的监控分析呢？
Linux的进程排查总体思路和windows的不会偏差太多，具体到细则上存在差异，今天就和师傅们来探讨下Linux下的进程分析及排查。
I/O是input/output的缩写，表示计算机与外接设备之间的数据传输。最常见的I/O类型有磁盘I/O、网络IO。IO和CPU比起来是非常低效的，为了保障应用程序的运行效率，Linux支持多种IO模型。
原文出处： BruceZhang 去 年开始，抱着学习的态度开始了我的Linux学习，到现在，差不多一年了，收获很多，不敢说精通Linux，但是，还是对得起“略懂”这两个字的。这一年 里我看了很多书，细细数下，大概15本左右，其中包含了两个方面，一个是Android，另一个就是Linux。当然，在学习之初，遇到了不少瓶颈，在这 里，还要感谢师兄师姐的指导。写这篇文章的目的有两个： 1.分享自己的学习经验 2.记录下我的学习历程 既然谈到了学习，那一定需要从看书说起，下面我就罗列下我看过的关于L
在接入日志组件xlog的工作中，对mmap内存映射加深了了解，分享一下学习心得。 1.一个Linux进程的虚拟内存 如图展示了一个Linux进程的虚拟内存。 虚拟的意思是进程以为自己有这么一
前言 如果性能测试的目标服务器是linux系统，在如何使用linux自带的命令来实现性能测试过程的监控分析呢？ 对于日常性能测试来讲，在linux下或是类Unix系统，我们必须掌握以下常用的指标查看命令。 ps pstree top free vmstat iostat iotop sar 当然还有其他命令，这里就上述笔者常用的命令推荐大家掌握。 ps ps命令能给出当前系统中进程的快照。下面我们列举几个常用的选项，对于其他的请参考官方文档或是自行搜索相关文档。 使用 -a 参数。-a 代表 all。同时加
我们在做主机安全检查或安全事件处置时，避免不了要去检查系统的安全情况。在进行 Linux 安全检查时，需要使用相关的脚本对系统的安全情况进行全面分析，一方面需要尽可能的收集系统的相关信息，另一方面在数量较多的时候尽可能的提高效率。由于在多次的安全检查中遇到检查时都是几十台服务器要做一个全面检查的情况，如果人工手写脚本的话，一方面效率较低另一方面需要安全检查者熟悉所需要检查的项。在这种情况下，本人写了一个 Linux 安全检查的脚本，该脚本主要在以下场景使用:
现在很多人都在诟病Linux内核协议栈收包效率低，不管他们是真的懂还是一点都不懂只是听别人说的，反正就是在一味地怼Linux内核协议栈，他们的武器貌似只有DPDK。
原文地址：牛客网论坛最具争议的Linux内核成神笔记，GitHub已下载量已过百万
出于对Linux操作系统的兴趣，以及对底层知识的强烈欲望，因此整理了这篇文章。本文也可以作为检验基础知识的指标，另外文章涵盖了一个系统的方方面面。如果没有完善的计算机系统知识，网络知识和操作系统知识，文档中的工具，是不可能完全掌握的，另外对系统性能分析和优化是一个长期的系列。
倪继利著 2005年8月出版 ISBN 7-121-01518-5 900页 88.00元（估价）
出于对Linux操作系统的兴趣，以及对底层知识的强烈欲望，因此整理了这篇文章。本文也可以作为检验基础知识的指标，另外文章涵盖了一个系统的方方面面。如果没有完善的计算机系统知识，网络知识和操作系统知识，文档中的工具，是不可能完全掌握的，另外对系统性能分析和优化是一个长期的系列。 本文档主要是结合Linux 大牛，搜集Linux系统性能优化相关文章整理后的一篇综合性文章，主要是结合博文对涉及到的原理和性能测试的工具展开说明。 背景知识：具备背景知识是分析性能问题时需要了解的。比如硬件 cache；再比如操作系统
前言 互联网公司一般都会运行着几千到几万的服务器。一般的监控会采用类似ganglia/falcon类似的工具，在本地启动一个agent，把数据统计上报到集中式的服务器中，用来监控和分析系统的问题。 另外，有atop这样的工具，可以运行在服务器上，在本地写下record文件，atop命令本身也可以分析record文件，其中保存的数据的粒度更加细致，可以精确到线程级别，还有IPC，主频等等。 经验来看，atop每天生成的record文件大约500M左右，保存最近的一段时间，似乎也不是问题。用集中式的监控，配合上atop，对于问题分析来说，会有一些帮助。 分析 1,atop的改进 atop的代码量本身并不大，官方的代码在： https://github.com/Atoptool/atop.git 在使用atop的过程中，遇到了一些问题，作者也做了相应的修改： https://github.com/bytedance/atop 在bytedance-features分支上。作者把patch发送给maintainer，但是maintainer一直没有回复。在这里，列举一下改动的内容，如下。 2,smaps的优化 尝试使用smaps_rollup代替smaps，用来提高atop收集进程的PSS内存使用的效率。这个patch会在4.14上有所提升。一般情况下，建议在atop收集的时候不要加上-R选项。因为在atop读/proc/PID/smaps的时候，会walk整个PID进程的页表，期间会lock住内存页表的锁。如果在这期间PID进程发生了page fault，也需要lock，就会造成锁的进程。影响PID进程的性能。 3,数据破损问题 atop使用裸数据的方式保存record文件，其中包括三部分：raw record，就是头信息; scompbuf，是系统状态信息的数据; pcompbuf，是task级的状态信息数据，大小和task数量有关系。为了减小record文件的大小，对于 scompbuf和pcompbuf还采用了压缩。所以，数据必须完整的 rr,scompbuf,pcompbuf顺序写下去的，否则atop无法识别数据。 good case : ... rr,scompbuf,pcompbuf ... rr,scompbuf,pcompbuf ... bad case : ... rr,scompbuf[missing] ... rr,scompbuf,pcompbuf … 例如上面的例子，在写完rr,scompbuf之后，atop发生了crash，再重新启动，就会丢失后面的 pcompbuf，造成了整个record文件的不可用。 在patch中，作者使用writev进行写入数据，要么都写入成功，要么都写入不成功，用来防止这种case发生。 4,IPC造成的虚拟机性能抖动 IPC,instructions per cycle。可以用来衡量CPU运行的效率。通常是通过perf采集的数据。 提到perf，就要说明一下它的工作原理：intel的CPU上集成了PMU，用来采集硬件的信息。可以收集的硬件信息很多，可以通过perf list | grep Hardware来看。但是硬件的寄存器有数量限制，所以需要通过wrmsr指令告诉CPU收集哪些具体的事件，再通过rdpmc指令来读取对应的数据。 在虚拟化场景下，在虚拟机中使用PMU又复杂了一下，在虚拟机中执行wrmsr和rdpmc的时候，都需要虚拟机从none-root模式退出，影响了虚拟机的性能。 在patch中，作者让atop支持perfevents的配置，支持三种模式：enable模式，启用perf收集IPC。disable模式，禁用perf收集IPC。auto模式，在启动的时候，atop自动检查是否在虚拟机中运行，如果在虚拟机中，禁用;在物理级中，启用。默认是auto模式。 5,减小record文件 如果是大规格的服务器，40CPU，甚至到96CPU，通常运行大量的docker，里面运行了很多的task。其中很多task占用资源很少，但是依然会占用atop的record文件。 在patch中，支持了配置参数recordcputop & recordmemtop。用来配置收集cpu和内存的topN。其他的task可以忽略。作者测试线上的服务器36CPU, about 500 processes的场景，大约节省了40%的磁盘空间。 6,加速读record 一般在ganglia上看到系统抖动，例如下午三点十分，在对应的服务器上执行： atop -r / var/log/atop/atop_xxxx -b 15:10 如前文所述，因为rawrecord的原因，则会从头读到尾，直到匹配到对应的时间。对于log盘的使用，尤其是虚拟化场景，会限制IOPS。这
对于 C/C++ 来说，程序中的内存包括这几部分：栈区、堆区、静态区 等，其中各个部分功能都不相同，比如函数的栈帧位于 栈区，动态申请的空间位于 堆区，全局变量和常量位于 静态区 ，区域划分的意义是为了更好的使用和管理空间，那么 真实物理空间 也是如此划分吗？多进程运行 时，又是如何区分空间的呢？写时拷贝 机制原理是什么？本文将对这些问题进行解答
后台业务一般都是通过TCP协议提供服务。服务难免需要版本升级，需要经历旧进程的退出和新进程的启动。为保证用户链接不异常中断，需要旧进程继续运行，直至处理完用户请求后再退出。这样才不会打断用户请求，这就是所谓的Graceful Shutdown：优雅退出。如果不做优雅退出，用户交互过程中任何一个步骤可能被升级打断，往小了有些不重要的业务，中断一下可以忍受，但如支付的基础服务，升级服务如果不支持优雅退出，造成大量用户掉线，进而造成恶劣的影响。所以对服务实现，不论对什么业务来说都是很有必要的。这也是为什么Go从1.8版本开始，标准库net/http对HTTPServer就添加了一个新的方法GracefulShutdown，使得进程可以把现有请求都处理完了再退出。
使用Java语言开发应用程序，虽然JVM帮我们进行了GC收集、清除工作；但是使用不当的话，还是会导致某些对象常驻堆空间无法给垃圾收集器清除，导致内存泄露、内存溢出等情况，今天盘点一下在项目中进行内存泄露分析和GC分析的一些常用、好用的工具。
本文由马哥教育面授班23期学员推荐，转载自恒生研究院，作者为董西孝，内容略经小编改编和加工，观点跟作者无关，最后感谢作者的辛苦贡献与付出。 出于对Linux操作系统的兴趣，以及对底层知识的强烈欲望，因此整理了这篇文章。本文也可以作为检验基础知识的指标，另外文章涵盖了一个系统的方方面面。如果没有完善的计算机系统知识，网络知识和操作系统知识，文档中的工具，是不可能完全掌握的，另外对系统性能分析和优化是一个长期的系列。 本文档主要是结合Linux 大牛，Netflix 高级性能架构师 Brendan Greg
近期，火绒安全实验室发现了一起针对Linux系统的植入后门病毒攻击，经过分析确认该后门为BDFdoor的变种。
和很多程序员打过交道，这些程序员可能熟知for遍历的好几种写法，但是却对写出来的程序部署的环境一无所知。我敢打赌，在spring boot出现之后，已经很少有程序员知道tomcat到底是怎么运行的了。对于他们来说，运行一个jar包就完事了。
作用是将应用层序的请求传递给硬件，并充当底层驱动程序，对系统中的各种设备和组件进行寻址。目前支持模块的动态装卸(裁剪)。Linux内核就是基于这个策略实现的。Linux进程1.采用层次结构，每个进程都依赖于一个父进程。内核启动init程序作为第一个进程。该进程负责进一步的系统初始化操作。init进程是进程树的根，所有的进程都直接或者间接起源于该进程。virt/ —- 提供虚拟机技术的支持。
eBPF代表扩展的伯克利数据包过滤器。在这份全面的技术指南中，了解关于Linux eBPF的所有重要信息。
在前期文章中讲解了服务端压力测试的方法及分布式平台搭建，但是对于压力测试结果的分析没有一个系统的思路，在压力测试结果不符合性能指标时无从下手，也无法向开发提出有效的优化性能的方法。在对多个项目分析后，总结出一个通用的分析思路，可以快速定位性能瓶颈。
记住，学习 Linux shell 需要一定的时间和实践，持续地学习和实践是提高技能的关键。通过不断尝试、探索和解决问题，你将逐渐掌握并熟练运用 Linux 的 shell。
在Linux中，主要是通过fork的方式产生新的进程，我们都知道每个进程都在 内核对应一个PCB块，内核通过对PCB块的操作做到对进程的管理。在Linux内核中，PCB对应着的结构体就是task_struct，也就是所谓的进程描述符（process descriptor）。该数据结构中包含了程相关的所有信息，比如包含众多描述进程属性的字段，以及指向其他与进程相关的结构体的指针。因此，进程描述符内部是比较复杂的。这个结构体的声明位于include/linux/sched.h中。
内存分析需要使用的计数器：Memory类别和Physical Disk类别的计数器。内存分析的主要方法和步骤：
1.日志（各种日志，访问日志、中间件日志、数据库日志、系统日志、运行日志、安全日志等等等等）
作用是将应用层序的请求传递给硬件，并充当底层驱动程序，对系统中的各种设备和组件进行寻址。目前支持模块的动态装卸(裁剪)。Linux内核就是基于这个策略实现的。Linux进程1.采用层次结构，每个进程都依赖于一个父进程。内核启动init程序作为第一个进程。该进程负责进一步的系统初始化操作。init进程是进程树的根，所有的进程都直接或者间接起源于该进程。virt/ ---- 提供虚拟机技术的支持。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频
