在之前的一篇博文Linux Kernel模块内存泄露的一种查找思路>>中,我介绍了一种查找内核内存泄露的一种方法。...确定问题 第一步,我们要做的是,确定这个问题和产品的Kernel模块有关系。首先根据客户描述,如果停止我们产品,则不会出现内存泄露问题。...那确定问题和我们产品有关系,但是和用户态程序还是内核模块程序有关系呢?根据客户提供的Kernel Dump查看Slab占用3.6G。那么十有八九,是产品Kernel模块存在Memory Leak了。...++++++++++++++++++++++++++++ sock_inode_cache在内核中存储socket的内核结构,而dentry则对应文件或者目录在内核中的数据结构,如果你和我一样,对Linux...在内核模块中会对文件的dentry进行访问,那么如何引起内存泄露的呢?
如果你某天发现通过“Free”查看内存几乎耗尽,但通过top/ps命令却看不出来用户态应用程序占用太多的内存空间,那么内核模块可能发生了内存泄露。 二....SLAB简介 SLAB是Linux内核中按照对象大小进行分配的内存分配器。...通过SLAB的信息来查看内核模块占用的内存空间,提供了三种方式(怎么有点像茴香豆的几种写法....囧): 1....,那基本可以断定,内核模块出现了内存泄露了,那么我们就要寻找哪里出现了内存泄露呢?...内核模块内存泄露的分析 起初也怀疑是不是因为cache占用了过多的内存,可清楚缓存后内存依旧很大。那摆在面前的只有两条路了: 1.
但是,当Linux物理内存超过1G时,线性访问机制就不够用了,因为只能有1G的内存可以被映射,剩余的物理内存无法被内核管理,所以,为了解决这一问题,Linux把内核地址分为线性区和非线性区两部分,线性区规定最大为...因此,Linux 规定“内核直接映射空间” 最多映射 896M 物理内存。...2.2 高端内存 在传统的x86_32系统中, 当内核模块代码或线程访问内存时,代码中的内存地址都为逻辑地址,而对应到真正的物理内存地址,需要地址一对一的映射,如逻辑地址0xc0000003对应的物理地址为...1G) 2.3 Linux内核高端内存的理解 前 面我们解释了高端内存的由来。...看到这里,不禁有人会问:万一有内核进程或模块一直占用某段逻辑地址空间不释放,怎么办?若真的出现的这种情况,则内核的高端内存地址空间越来越紧张,若都被占用不释放,则没有建立映射到物理内存都无法访问了。
移除交换空间 ---- 概念 内存管理是Linux系统重要的组成部分。...为了解决内存紧缺的问题,Linux引入了虚拟内存的概念。为了解决快速存取,引入了缓存机制、交换机制等。...当需要用到原始内容时,这些信息会被重新从交换空间读入物理内存。 Linux的内存管理采取的是分页存取机制。...要深入了解Linux内存运行机制,需要知道下面提到的几个方面。 首先,Linux系统会不时地进行页面交换操作,以保持尽可能多的空闲物理内存。...其次,Linux进行页面交换是有条件的,不是所有页面在不用时都交换到虚拟内存中,Linux内核根据“最近最经常使用”算法,仅仅将一些不经常使用的页面文件交换到虚拟内存中。
CPU访问本地内存的速度比访问远程内存的速度要快 Linux适用于各种不同的体系结构, 而不同体系结构在内存管理方面的差别很大....因此linux内核需要用一种体系结构无关的方式来表示内存....因此linux内核把物理内存按照CPU节点划分为不同的node, 每个node作为某个cpu结点的本地内存, 而作为其他CPU节点的远程内存, 而UMA结构下, 则任务系统中只存在一个内存node, 这样对于...系统中的NUMA结点都是从0开始编号的 3.1 linux-2.4中的实现 pgdat_next指针域和pgdat_list内存结点链表 而对于NUMA结构的系统中, 在linux-2.4.x之前的内核中所有的节点...-3.x~4.x的实现 node_data内存节点数组 在新的linux3.x~linux4.x的内核中,内核移除了pg_data_t的pgdat_next之指针域, 同时也删除了pgdat_list链表
1 Linux如何描述物理内存 Linux把物理内存划分为三个层次来管理 层次 描述 存储节点(Node) CPU被划分为多个节点(node), 内存则被分簇, 每个CPU对应一个本地物理内存, 即一个...内存中的每个节点都是由pg_data_t描述,而pg_data_t由struct pglist_data定义而来, 该数据结构定义在include/linux/mmzone.h, line 615, 每个结点关联到系统中的一个处理器...简单来说, 页是一个数据块, 可以存放在任何页框(内存中)或者磁盘(被交换至交换分区)中 我们今天就来详细讲解一下linux下物理页帧的描述 2 页帧 内核把物理页作为内存管理的基本单位....函数EXPORT_SYMBOL使得内核的变量或者函数可以被载入的模块(比如我们的驱动模块)所访问....3.2 内存页标识pageflags 其中最后一个flag用于标识page的状态, 这些状态由枚举常量enum pageflags定义, 定义在include/linux/page-flags.h?
2 (N)UMA模型中linux内存的机构 Linux适用于各种不同的体系结构, 而不同体系结构在内存管理方面的差别很大. 因此linux内核需要用一种体系结构无关的方式来表示内存....而内存管理的其他地方则认为他们就是在处理一个(伪)NUMA系统. 2.2 Linux物理内存的组织形式 Linux把物理内存划分为三个层次来管理 层次 描述 存储节点(Node) CPU被划分为多个节点..., 我们会在后面典型架构(x86)上内存区域划分详细讲解x86_32上的内存区域划分 因此Linux内核对不同区域的内存需要采用不同的管理方式和映射方式, 为了解决这些制约条件,Linux使用了三种区:...函数EXPORT_SYMBOL使得内核的变量或者函数可以被载入的模块(比如我们的驱动模块)所访问. 2.5 内存页page 大多数内核(kernel)的操作只使用ZONE_NORMAL区域,系统内存由很多固定大小的内存块组成的...2.6 高端内存 由于能够被Linux内核直接访问的ZONE_NORMAL区域的内存空间也是有限的,所以LINUX提出了高端内存(High memory)的概念,并且允许对高端内存的访问
这一切都离不开 Linux 的 "模块化魔法"—— 内核模块(Kernel Module)。...作为 Linux 内核最灵活的特性之一,内核模块让开发者可以动态扩展内核功能,今天就来揭开这个神秘组件的面纱。 一、什么是内核模块?...:模块的卸载必须等待所有依赖它的模块先卸载 四、手把手教你写第一个内核模块:Hello World 实战 4.1 准备工作 系统要求:Linux 内核开发环境(需安装 kernel-devel 包...方法: 导出内核内存分配函数(kmalloc/vmalloc) 编写模块替换部分分配逻辑 通过sysfs暴露配置参数 7.3 学习研究用途 入门实验:编写简单的内存泄漏检测模块 原理验证:...8.3 性能优化 减少模块初始化时间(耗时操作放到后台线程) 合理使用内存分配函数(kmalloc适合小内存,vmalloc适合非连续内存) 避免频繁调用内核同步原语(自旋锁、信号量) 九、常见问题解答
因此相对于任何一个CPU访问本地内存的速度比访问远程内存的速度要快, 而Linux为了兼容NUMAJ结构, 把物理内存相依照CPU的不同node分成簇, 一个CPU-node对应一个本地内存pgdata_t...Linux使用enum zone_type来标记内核所支持的所有内存区域 3.1 内存区域类型zone_type zone_type结构定义在include/linux/mmzone.h, 其基本信息如下所示...位系统中, Linux内核虚拟地址空间只有1G, 而0~895M这个986MB被用于DMA和直接映射, 剩余的物理内存被成为高端内存....函数EXPORT_SYMBOL使得内核的变量或者函数可以被载入的模块(比如我们的驱动模块)所访问....Linux必须处理如下两种硬件存在缺陷而引起的内存寻址问题: 一些硬件只能用某些特定的内存地址来执行DMA 一些体系结构其内存的物理寻址范围比虚拟寻址范围大的多。
Linux运行一段时间之后,内存会越来越多,导致内存不够用,需要释放一下内存才行 echo "1" > /proc/sys/vm/drop_caches 说明,释放前最好sync一下,防止丢数据。...因为LINUX的内核机制,一般情况下不需要特意去释放已经使用的cache。这些cache起来的内容可以增加文件以及的读写速度。...再用free -m 命令查看一下,剩余的内存 如果没有什么效果,可以使用 echo "2" > /proc/sys/vm/drop_caches 或者 echo "3" > /proc/sys/vm/drop_caches
本篇介绍 本篇介绍下Linux的内存管理,用系统角度看内存的寻址和分配机制。 内容介绍 内存管理应该是系统中最难的模块之一了,而且历史也悠久,就先来简单回顾下。...分页机制可以完全避免内存碎片问题么? 公布下答案: 的确有分页机制就可以完全不需要分段机制,目前linux是在分段的基础上实现了分页,这个也有考虑到是兼容性问题。...; /* for /proc/PID/auxv */ struct percpu_counter rss_stat[NR_MM_COUNTERS]; struct linux_binfmt...mmap流程如下: image.png 缺页异常 linux 是在不得不使用物理内存的时候才会分配物理内存。这句话该怎么理解呢?...因此看到物理可用内存不足并不表示需要换物理内存条了。
写在前面 博文内容涉及 Linux 全局内存监控 监控方式包括传统工具 vmstat/top/free/sar/slabtop ,以及 systemd-cgtop,proc 内存伪文件系统 监控内容包括系统内存使用...即使应用程序需要的内存容量大于可用的物理内存,Linux内核仍然允许这些程序运行。Linux内核使用硬盘作为临时存储器,这个硬盘空间被称为交换分区(swap space)。...高速缓存和缓冲区的使用使得系统内空闲的内存很少,默认情况下,Linux试图尽可能多的使用你的内存。这是好事。 如果Linux侦测到有空闲内存,它就会将应用程序和数据缓存到这些内存以加速未来的访问。...需要时,Linux找出进程最近最少使用的内存页面,并将它们从活跃列表移动到不活跃列表。当要选择把哪个内存页交换到硬盘时,内核就从不活跃内存列表中进行选择。...它显示了这些分片的被占用情况,以及它们使用了多少内存。 slabtop可以一窥Linux内核的数据结构。每一种分片类型都与Linux内核紧密相关。
查看Linux内存使用情况 free -m Linux内存清理:绝大多数情况下都不需要此操作,因为cache的内存在需要的时候是可以自动释放的~ 最好先sync几次,再清理内存,有下面三个级别,数值越大清理越彻底...1 > /proc/sys/vm/drop_caches echo 2 > /proc/sys/vm/drop_caches echo 3 > /proc/sys/vm/drop_caches 更多内存清理的介绍参见转载的文章...:http://www.cnblogs.com/jyzhao/articles/3999185.html Linux共享内存 ipcs -a 查看内存条数 dmidecode | grep -A16 "
操作系统内存管理包括物理内存管理和虚拟内存管理: 我们这篇主要介绍Linux的虚拟内存管理。...物理内存管理在另外一篇:《操作系统内存管理(思维导图详解)》 1、程序的进程在内存的数据结构 一.Linux 进程在内存数据结构 ---- 1、存储(没有调入内存)阶段: 可以看到一个可执行程序在存储...Linux仅把可执行映像的一小部分 装入物理 内存. 当需要访问未装入的页面时 . 系统产生一个缺页中断 , 把需要的页读入 物理内存。 ...把页装入物理内存。 · 五.swap对换空间 ---- 32位Linux系统的每个进程可以有4 GB的虚拟 内存空间 ....例如:32位Linux的每个用户进程都可以访问4GB的线性地址空间, 而实际的物理内存可能远远少于4GB. 采用分页机制 ,Linux仅把可执行映像的一小部分装入物理内存.
写在前面 博文内容涉及 Linux 内存构成基本认知 包括虚拟内存和物理内存映射,多级页表和MMU简单认知 理解不足小伙伴帮忙指正 对每个人而言,真正的职责只有一个:找到自我。...所有其它的路都是不完整的,是人的逃避方式,是对大众理想的懦弱回归,是随波逐流,是对内心的恐惧 ——赫尔曼·黑塞《德米安》 认识 Linux 内存构成:虚拟内存与物理内存 计算机中的进程小伙伴一定不陌生,...0x0000000000000000 至 0x00007FFFFFFFFFFF(128 TB) 内核空间:0xFFFF800000000000 至 0xFFFFFFFFFFFFFFFF(128 TB) Linux...系统默认使用完整的 48 位地址,但用户进程实际可用空间通常更小(如通过 TASK_SIZE_MAX 限制为 128 TB 减去保护页) 在 Linux 系统中查看 /proc/cpuinfo 时,address...看一个Demo,通过 ulimit 模块设置单个进程栈大小为 16 ┌──[root@liruilongs.github.io]-[~] └─$ulimit -s 16 ┌──[root@liruilongs.github.io
虚拟内存是为了满足物理内存不足采用的策略,利用磁盘空间虚拟出一块逻辑内存,用作虚拟内存的空间也就是交换分区。...作为物理内存的扩展,Linux会在物理内存不足时,使用交换分区的逻辑内存,内核会把暂时不用的内存块信息写到交换空间,这样物理内存就得到了释放,这块儿内存就可以用于其他目的,而需要用到这些内容的时候,这些信息就会被重新从交换分区读入物理内存...Linux的内存管理采用的是分页存取机制,为了保证物理内存得到充分的利用,内核会在适当的时间把物理内存中不经常使用的数据块儿自动交换到虚拟内存中,而将充分使用的信息保留到物理内存中。...例如通过阿里云安装的系统,不会自动给我们分配Swap虚拟内存空间;Swap分区或虚拟内存文件,是在系统物理内存不够用的时候,由系统内存管理程序将那些很长时间没有操作内存数据,临时保存到Swap分区虚拟内存文件中...当那些程序要再次重新运行时,会再从Swap分区或虚拟内存文件中恢复之前保存的数据到内存中。
写在前面 博文内容涉及 Linux 进程内存监控 监控方式包括传统工具 ps/top/pmap ,以及 cgroup 内存子系统,proc 内存伪文件系统 监控内容包括进程内存使用情况, 内存全局数据统计...来区分两种不同的统计数据 VIRT 或 VSZ 代表进程申请的虚拟内存大小, RES 或 RSS 代表的是虚拟内存当前实际映射的物理内存大小,也叫常驻内存。...user.slice:表示该 cgroup 属于 用户会话层级,与用户进程相关(与 system.slice 系统服务层级区分) user-1000.slice:表示用户 ID 为 1000 的普通用户(Linux...KB Trs 221 可执行代码段(Text Resident Set)占用的内存页(如程序自身的机器指令) 221 × 4 ≈ 884 KB Lrs 0 库的内存页数(Linux 2.6+ 中已废弃...,通常为 0) - Drs 5022 数据段(堆、全局变量)和用户态栈的总内存页 5022 × 4 ≈ 20,088 KB dt 0 脏页数量(已修改但未写入磁盘的页,Linux 2.6+ 中已废弃
方法来自酷安(我也不知道谁,笑哭) 截图 理论上适用其他21.7.21或之后的版本的机型,需要手机内核支持 下载 链接:https://pan.bai...
其实 Linux 内核模块也有类似的调节旋钮,今天要聊的模块参数。它能让你在加载模块时动态配置参数,不用改代码就能实现功能切换,堪称模块开发的效率神器。 一、什么是模块参数?...比如: 调试开关:加载时指定debug=1打开详细日志 缓冲区大小:通过buf_size=4096设置内存分配大小 设备名称:用dev_name="mydevice"自定义设备节点名称 没有模块参数的话...2.1 第一步:包含头文件 模块参数的所有宏定义都在linux/moduleparam.h中,所以必须先包含这个头文件: #include linux/moduleparam.h> 少了它,编译器会报...参数存储位置 模块参数本质是模块的全局变量,内核通过符号表找到变量地址,直接修改内存中的值。这也是为什么参数必须是全局变量(static全局也可以,只要在模块内可见)。 3....8.4 模块参数可以是局部变量吗? 绝对不行!模块参数必须是全局变量(或static全局变量),因为内核需要在模块初始化前找到变量地址并赋值。局部变量在函数执行时才分配内存,内核无法访问。
2.2 按需添加的其他头文件 根据模块功能不同,还需要包含特定的头文件: 操作字符设备:linux/fs.h(文件系统相关定义) 内存分配:linux/slab.h(kmalloc函数所在) 网络操作...:linux/net.h 硬件中断:linux/interrupt.h 举个例子:如果你的模块需要分配内核内存,就必须包含linux/slab.h,否则编译器会报kmalloc未定义的错误。...内核里有上万个模块,重名可是大麻烦。 __init宏:告诉内核 "这个函数只在模块加载时执行一次,执行完后就可以释放内存了"。...__exit宏:告诉内核 "这个函数只在模块卸载时执行",内核会把它放到专门的内存区域,只有当模块支持卸载时才保留。...最直接的后果是内存泄漏,如果多次加载卸载模块,泄漏的内存会越来越多。严重的情况下(比如没释放设备号),会导致设备无法再次使用,必须重启系统才能恢复。