为了大家看文中那一堆的“#”不至于晕掉，建议先看一下这篇：讲通C/C++预编译/条件编译指令 #ifdef,#ifndef,#endif,#define,…
🍅 作者主页：不吃西红柿 🍅 简介：CSDN博客专家🏆、信息技术智库公号作者✌。简历模板、职场PPT模板、技术难题交流、面试套路尽管【关注】私聊我。 今日重点： ① 学会查看linux各种状态，包括：网络IO、磁盘、CPU、内存等； ② 学会理解命令所代表的含义，能够迅速发现集群存在的问题。 1、核心命令 linux 监控网络IO、磁盘、CPU、内存： CPU：vmstat 、sar –u、top 磁盘IO：iostat –xd、sar –d、top 网络IO：iftop -n、ifs
在《Redis源码解析——源码工程结构》一文中，我们介绍了Redis可能会根据环境或用户指定选择不同的内存管理库。在linux系统中，Redis默认使用jemalloc库。当然用户可以指定使用tcmalloc或者libc的原生内存管理库。本文介绍的内容是在这些库的基础上，Redis封装的功能。（转载请指明出于breaksoftware的csdn博客）
（1）内存：条数、每条大小、内存是DDR4还是DDR3、内存频率是2666MT/S还是1600MT/s
做java开发以来，有一个问题一直萦绕在脑海，那就是java程序为什么会占用那么多的虚拟内存。之前也没有深究，因为服务器内存够大。但是最近用上了docker容器，每个容器基本上就几个GB的内存，内存占用过大的问题必须得解决了。
Perfetto 是一个用于性能检测和跟踪分析的生产级开源堆栈。它提供用于记录系统级和应用程序级跟踪的服务和库、本机 + java 堆分析、使用 SQL 分析跟踪的库以及用于可视化和探索多 GB 跟踪的基于 Web 的 UI。
strace会追踪程序运行时的整个生命周期， 输出每一个系统调用的名字、参数、返回值和执行所消耗的时间等，是高级运维和开发人员排查问题的杀手铜。https://www.cnblogs.com/fadewalk/p/10847068.html
redis是一个基于内存的key-value的数据库，其内存管理是很重要的，为了屏蔽不同平台之间的差异，以及统计内存占用量等，redis对内存分配函数进行了一层封装，程序中统一使用zmalloc，zfree一系列函数，其相应的源代码在src/zmalloc.h和src/zmalloc.c两个文件里，源代码点这里。
目前大部分的操作系统和应用程序并不需要16EB( 2^64 )如此巨大的地址空间, 实现64位长的地址只会增加系统的复杂度和地址转换的成本, 带不来任何好处. 所以目前的x86-64架构CPU都遵循AMD的Canonical form, 即只有虚拟地址的最低48位才会在地址转换时被使用, 且任何虚拟地址的48位至63位必须与47位一致(sign extension). 也就是说, 总的虚拟地址空间为256TB( 2^48 ）
第一行：系统时间 21：53：29、运行时间：up 8 day、当前连接数：1 user 、 负载均衡（uptime）: load average:0.052,0.32,0.35 average后面的三个数分别是1分钟、5分钟、15分钟的负载情况。 load average数据是每隔5秒钟检查一次活跃的进程数，然后按特定算法计算出的数值。如果这个数除以逻辑CPU的数量，结果高于5的时候就表明系统在超负荷运转了 第二行：Tasks — 任务（进程） 总进程：115 total、运行；1 running、休眠：111 sleep 、停止: 0 stopped 、僵尸进程：1 zombie 第三行：CPU状态
vmstat（Virtual Memory Statistics）命令用于报告虚拟内存状态的统计信息。
Core Dump 也称之为“核心转储”， 若当前操作系统开启了 core dump ，当程序运行过程中发生异常或接收到某些信号使得程序进程异常退出时, 由操作系统把程序当前的内存状况以及相关的进程状态信息存储在一个 Core 文件中， 即 Core Dump 。通常，Linux 中如果内存越界会收到 SIGSEGV 信号，然后就会进行 Core Dump 相关操作。
USER 进程所属用户 PID 进程ID %CPU 进程占用CPU百分比 %MEM 进程占用内存百分比 VSZ 虚拟内存占用大小 单位：kb（killobytes） RSS 实际内存占用大小 单位：kb（killobytes） TTY 终端类型 STAT 进程状态 START 进程启动时刻 TIME 进程运行时长 COMMAND 启动进程的命令
malloc动态内存分配函数原理详解及编程用法举例(本文由www.169it.com搜集整理)
vmstat 1 每隔一秒输出系统状态，数据来源/pro/stat，输出各列的含义
目前 Linux 下有一些使用 Python 语言编写的 Linux 系统监控工具 比如 inotify-sync（文件系统安全监控软件）、glances（资源监控工具）在实际工作中，Linux 系统管理员可以根据自己使用的服务器的具体情况编写一下简单实用的脚本实现对 Linux 服务器的监控。 本文介绍一下使用 Python 脚本实现对 Linux 服务器 CPU 内存 网络的监控脚本的编写。
java 语言有个神奇的地方，那就是你时不时会去关注下内存。（当然了，任何牛逼的同学都应该关注内存）
1.查看什么进程占用端口： netstat -antp | fgrep <port> 2.查看进程资源： jps -l jmap -heap 21046
ps 概述 Linux中的ps命令是Process Status的缩写。ps命令用来列出系统中当前运行的那些进程。ps命令列出的是当前那些进程的快照，就是执行ps命令的那个时刻的那些进程，如果想要动态的显示进程信息，就可以使用top命令。 linux上进程有5种状态: 运行(正在运行或在运行队列中等待) 中断(休眠中, 受阻, 在等待某个条件的形成或接受到信号) 不可中断(收到信号不唤醒和不可运行, 进程必须等待直到有中断发生) 僵死(进程已终止, 但进程描述符存在, 直到父进程调用wait4()系统调用后
「 原谅和忘记就意味着扔掉了我们获得的最贵经验 -------《人生的智慧》叔本华」
proc 是一个虚拟文件系统，在Linux 系统中它被挂载于/proc 目录之上。proc 有多个功能 ，这其中包括用户可以通过它访问内核信息或用于排错，这其中一个非常有 用的功能，也是Linux 变得更加特别的功能就是以文本流的形式来访问进程信息。很Linux 命令( 比如 ps 、toPpstree 等) 都需要使用这个文件系统的信息。 maps /proc/[pid]/maps显示进程内存区域映射信息 > cat /proc/1751/maps 00400000-00401000 r-xp 000
关键词：VSS、RSS、PSS、USS、_mapcount、pte_present、mem_size_stats。
目前市场上的虚拟化技术种类很多，例如moby(docker)、LXC、RKT等等。在带来方便应用部署和资源充分利用的好处的同时，如何监控相应Container及其内部应用进程成为运维人员不可避免遇到的新情况。UAV.Container从虚拟化技术的基础原理和Linux操作系统的内核特性出发，得到Container容器和内部进程的各维度监控数据，使无论是虚拟机或物理机运维人员，还是业务运维人员角度，都能得到合适的监控维度。
一般 Unix 系统中，用户态的程序通过malloc()调用申请内存。如果返回值是 NULL， 说明此时操作系统没有空闲内存。这种情况下，用户程序可以选择直接退出并打印异常信息或尝试进行 GC 回收内存。然而 Linux 系统总会先满足用户程序malloc请求，并分配一片虚拟内存地址。只有在程序第一次touch到这片内存时，操作系统才会分配物理内存给进程。具体我们可以看下如下demo:
其中，第一个问题「在 4GB 物理内存的机器上，申请 8G 内存会怎么样？」存在比较大的争议，有人说会申请失败，有的人说可以申请成功。
负载均衡(uptime) load average: 0.00, 0.00, 0.00
当各位读者看到本次文章的标题，你可能会比较熟悉堆、栈的用法，因为在你学完了c语言后，或多或少都会接触到一点数据结构（但是这里要讲的与数据结构里面的堆和栈还是有点差别的，本次分析这个是从内存分配的角度去看，不是从的数据结构特点去看，而且在笔试面试的时候，经常会遇到这种题目，让你说出他们的区别来。自己亲身体会，遇到了好几次）。后面的数据段、代码段、bss段，可能你平时没有怎么细心总结，现在你可能还真讲不出他们的区别来，不信的话，读者在看到这里可以先暂定一下，在自己以往写了那么多的代码，仔细回忆看看他们有啥区别，如果不知道也没关系，读者可以继续随着我笔步往下看，当你看完或许会发出这样的感叹，原来是这样啊。是的，确实是这样的，包括自身在写这篇文章开始之前，我也讲不出来他们的区别（这里是昨天一个网友在我自己建的一个技术交流群里。提出了一个关于数据初始化的问题，如下图，正如你所见这个可能比较简单，但是要理解这里面的知识点，还是要花点时间来总结一下的）：
文件 ls -rtl # 按时间倒叙列出所有目录和文件 ll -rt touch file # 创建空白文件 rm -rf dirname # 不提示删除非空目录(-r:递归删除 -f强制) dos2unix # windows文本转linux文本 un
在上一篇文章中描述了如何使用Valgrind工具检查内存相关问题，包括内存泄露、空指针使用、野指针使用、重复释放等问题。对于大多数情况下，Valgrind的作用性体现更多在于“内存泄露”检查，因为空指针、野指针的访问，会引发程序段错误（segment fault ）而终止，此时可以借助linux系统的coredump文件结合gdb工具可以快速定位到问题发生位置。此外，程序崩溃引发系统记录coredump文件的原因是众多的，野指针、空指针访问只是其中一种，如堆栈溢出、内存越界等等都会引起coredump，利用好coredump文件，可以帮助我们解决实际项目中的异常问题。
1、进程“需要的”虚拟内存大小，包括进程使用的库、代码、数据等 2、假如进程申请100m的内存，但实际只使用了10m，那么它会增长100m，而不是实际的使用量
进程是 UNIX/Linux 用来表示正在运行的程序的一种抽象概念，所有系统上面运行的的数据都会以进程的形态存在。
计算机存在的目的就是为了运行各种各样的程序，迄今我们介绍的绝大多数命令，都是为了完成某种计算而用编程语言编写的程序，它们以文件的形式保存在操作系统之中(比如/bin下的各种命令)；但静态的程序并不能“自发的”产生结果，只有在操作系统中为其指定输入数据并运行起来，才能得到输出结果。而操作系统中程序运行的最主要表现形式便是进程。 静态程序可以长久的存在，动态的进程具有有限的生命周期。每次程序运行的开始(如键入一条命令后按下回车键)，操作系统都要为程序的运行准备各种资源，这些资源绝大多数都处于内存之中。为了限制多用户进程的权限，linux还定义了两种进程运行时态：内核态和用户态；当进程想要请求系统服务时(比如操作一个物理设备)，必须通过系统调用(操作系统提供给用户空间的接口函数)来实现，此时系统切换到内核态，代表程序执行该系统调用，执行完毕后系统切换回用户态，继续执行程序代码。 本文介绍linux中关于进程与内存的管理命令(更多的是查看命令)
在 Linux 中，程序的运行实例称为进程。 有时候，在 Linux 机器上工作时，您可能需要了解当前正在运行的进程。
平时我们经常需要监控内存的使用状态，常用的命令有free、vmstat、top、dstat -m等。
本文主要分析 Linux 系统内存统计的一些指标以及进程角度内存使用监控的一些方法。
ps 是 Linux 下显示瞬间进程状态的强大命令，并不动态连续显示进程状态（top 命令则是对进程进行实时监控）。
这些参数主要是用来调整virtual memory子系统的行为以及数据的写出（从RAM到ROM）。 这些节点（参数）的默认值和初始化的过程大部分都可以在mm/swap.c中找到。 目前，/proc/sys/vm目录下有下面这些节点：
The OOM Killer 是内核中的一个进程，当系统出现严重内存不足时，它就会启用自己的算法去选择某一个进程并杀掉. 之所以会发生这种情况，是因为Linux内核在给某个进程分配内存时，会比进程申请的内存多分配一些. 这是为了保证进程在真正使用的时候有足够的内存，因为进程在申请内存后并不一定立即使用，当真正使用的时候，可能部分内存已经被回收了。
测试环境：Ubuntu16.04（在VMWare虚拟机使用perf top存在无法显示问题）
内核使用cgroup对进程进行分组，并限制进程资源和对进程进行跟踪。内核通过名为cgroupfs类型的虚拟文件系统来提供cgroup功能接口。cgroup有如下2个概念:
要对系统中进程进行监测控制，用 ps 命令满足你。 /bin/ps ps 是显示瞬间行程的状态，并不动态连续；如果想对进程运行时间监控，应该用 top 工具。 kill 用于杀死进程。 ==============ps 的参数说明============================ l 长格式输出； u 按用户名和启动时间的顺序来显示进程； j 用任务格式来显示进程； f 用树形格式来显示进程； a 显示所有用户的所有进程（包括其它用户）； x 显示无控制终端的进程； r 显示运行中的进程； ww 避免
这篇文章其实之前发过，但是最近有位读者跟我反馈，我文章中的实验在 64 位操作系统、2 G 物理内存的场景，申请 8G 内存是没问题的，而他也是这个环境，为什么他就无法申请成功呢？
软件 rpm{ rpm -ivh lynx # rpm安装 rpm -e lynx # 卸载包 rpm -e lynx --nodeps # 强制卸载 rpm -qa # 查看所有安装的rpm包 rpm -qa | grep lynx # 查找包是否安装 rpm -ql # 软件包路径 rpm -Uvh # 升级包
最近游戏已上线运营，进行服务器内存优化，发现一个非常奇妙的问题，我们的认证服务器（AuthServer）负责跟第三方渠道SDK打交道（登陆和充值），由于采用了curl阻塞的方式，所以这里开了128个线程，奇怪的是每次刚启动的时候占用的虚拟内存在2.3G，然后每次处理消息就增加64M，增加到4.4G就不再增加了，由于我们采用预分配的方式，在线程内部根本没有大块分内存，那么这些内存到底是从哪来的呢？让人百思不得其解。 探索 一开始首先排除掉内存泄露，不可能每次都泄露64M内存这么巧合，为了证明我的观点，首先，我使用了valgrind。
为什么需要在堆上面分配动态内存？在前面的章节中，我们一直使用自动内存，也就是栈内存，这并不影响C程序的编写，那么我们为什么还要去使用动态内存，而且还要很麻烦的去手动管理动态内存呢？
1、登录Terminal，执行：cat /proc/cpuinfo，就会显示出主机的CPU详细参数，如内核、频率、型号等等，以下是我Linux 系统主机的CPU：
1. /proc目录 Linux 内核提供了一种通过 /proc 文件系统，在运行时访问内核内部数据结构、改变内核设置的机制。proc文件系统是一个伪文件系统，它只存在内存当中，而不占用外存空间。它以文件系统的方式为访问系统内核数据的操作提供接口。
日常运维中部署 elasticsearch 集群实现日志审计分析，由于elasticsearch 对主机资源消耗较高，top 中出现主机 cpu 利用率超过 100% ，显示数值大于500% 。那么问题来了，是 cpu 爆表了还是正常的负载值。接下来解答疑惑。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
