一、共享内存简介 共享内存区是最快的IPC形式，这些进程间数据传递不再涉及到内核，换句话说是进程不再通过执行进入内核的系统调用来传递彼此的数据。 即每个进程地址空间都有一个共享存储器的映射区，当这
Linux下的进程间通信也可以使用mmap的内存共享映射来实现，mmap的作用就是把磁盘文件的一部分直接映射到进程的内存中，那么进程就可以直接对该内存文件进行操作，mmap也设置了两种机制：共享和私有，如果是共享映射，那么在内存中对文件进行修改，磁盘中对应的文件也会被修改，相反，磁盘中的文件有了修改，内存中的文件也被修改。如果是私有映射，那么内存中的文件是独立的，二者进行修改都不会对对方造成影响。通过这样的内存共享映射就相当于是进程直接对磁盘中的文件进行读写操作一样，那么如果有两个进程来mmap同一个文件，就实现了进程间的通信。磁盘中的文件通过mmap函数来实现映射，然后通过munmap函数取消映射。先来看一下函数的原型：
本文来自旷视科技南京研究院研究员赵博睿在知乎上发表的文章，他主要研究领域为目标检测。本文上半篇将针对mmAP这一经典的目标检测评价指标详细解析其定义初衷和具体计算方式；下半篇将继续分析mmAP的特点，并介绍针对这些特点现有方法如何“hack” mmAP，最后将提出几个mmAP未考虑到的评测要素。仅抛砖引玉，期待诸君有更优评价指标的提出。
本文介绍了在 Linux 系统中，通过 perf 工具对应用程序进行性能监控的方法和工具。作者从监控方式、监控工具、性能调优、瓶颈诊断等方面进行了详细的阐述。同时，作者还提供了在性能调优过程中的实用技巧和案例，以帮助读者更好地掌握性能调优技巧。本文适合对 Linux 系统性能调优和应用程序性能监控感兴趣的读者阅读。
几种进程间的通信方式：管道，FIFO，消息队列，他们的共同特点就是通过内核来进行通信（假设POSIX消息队列也是在内核中实现的，因为POSIX标准并没有限定它的实现方式）。向管道，FIFO，消息队列写入数据需要把数据从进程复制到内核，从这些IPC读取数据的时候又需要把数据从内核复制到进程。所以这种IPC方式往往需要2次在进程和内核之间进行数据的复制，即进程间的通信必须借助内核来传递。如下图所示：
最近在研究ARM cpu 32 bit转码 64bit的事情，以用于在64bit的服务器上可以更快的运行32bit的Android ELF文件。
PMDK进行创建文件时调用函数pmem_map_file，而这个函数底层调用mmap，那么这个PMDK和操作系统函数调用有何不同呢？
输入输出(input/output)的对象可以是文件(file)， 网络(socket)，进程之间的管道(pipe)。在linux系统中，都用文件描述符(fd)来表示。
直接用shellcode解的方法比较容易，但是另一种攻击stdout泄露地址的方法更为巧妙
Intel® Processor Trace (Intel® PT) 是在i5/i7 5000以上型号上加入的功能，由于它是硬件级的特性，相比Qemu或Boch，在性能上和代码工作量会占有一定优势。在Linux上可以通过perf来使用PT，可以先简单看是否支持PT：
mmap（memory map）即内存映射，用于将一个文件或设备映射到进程的地址空间，或者创建匿名的内存映射。
6月1号，我提交了一个linux内核中的任意递归漏洞。如果安装Ubuntu系统时选择了home目录加密的话，该漏洞即可由本地用户触发。如果想了解漏洞利用代码和短一点的漏洞报告的话，请访问https:/
该文章介绍了如何通过 pmap 命令查看进程的虚拟地址空间使用情况，包括起始地址、大小、实际使用内存、脏页大小、权限、偏移、设备和映射文件等。通过分析这些信息，可以更好地了解程序运行时的内存使用情况，并找出潜在的内存泄漏、内存碎片等问题。
原文 https://mp.weixin.qq.com/s/8A_y1dlZrUvpaJfbQrVK3w
Linux环境下，进程地址空间相互独立，每个进程各自有不同的用户地址空间。任何一个进程的全局变量在另一个进程中都看不到，所以进程和进程之间不能相互访问。
Linux kernel 2.2之前，（如图）读写数据基本都是使用read系统调用和write系调用，以nginx来说如果一个请求建立，从磁盘的文件到网络连接之间会通过硬件（DMA）---内核层---用户层多次读写系统来完成文件数据的复制传输：从内核层用read系统调用读到用户层，再从用户层用write系统调用写到内核层，每一次用户层到内核层的进行一次上下文转换，这种代价是非常昂贵的。甚至在没有数据变化时这种复制尤其显得多余。如果nginx接受大量并发请求，这种系统调用就会非常频繁，服务器的性能就会下降。
Linux下动态库是通过mmap建立起内存和文件的映射关系。其定义如下void* mmap(void* start,size_t length,int prot,int flags,int fd,off_t offset);，在第一个参数start为NULL的时候系统会随机分配一个地址，我们可以通过示例来看mmap映射地址的流程。
Futex 是Fast Userspace muTexes的缩写，由Hubertus Franke, Matthew Kirkwood, Ingo Molnar and Rusty Russell共同设计完成。
相比于kernel bypass 模式需要结合具体的硬件支撑来讲，native IO是日常工作中接触到比较多的一种，其中同步IO在较长一段时间内被广泛使用，通常我们接触到的IO操作主要分为网络IO和存储IO。在大流量高并发的今天，提到网络IO，很容易想到大名鼎鼎的epoll 以及reactor架构。但是epoll并不属于异步IO的范畴。本质上是一个同步非阻塞的架构。关于同步异步，阻塞与非阻塞的概念区别这里做简要概述：
但是在 arm 64 体系架构中 , 没有实现 mmap2 , 只实现了 mmap 系统调用 ;
最近在维护一台CentOS服务器的时候，发现内存无端"损失"了许多，free和ps统计的结果相差十几个G，搞的我一度又以为遇到灵异事件了，后来Google了许久才搞明白，特此记录一下，以供日后查询。
共享内存区是最快的IPC形式，一旦这样的内存区映射到共享它的进程的地址空间，这些进程的数据传递就不再涉及内核。
分配 虚拟内存页 : 应用进程 调用 mmap 函数后 , 在 Linux 系统中 创建 " 内存映射 “ 时 , 会在 ” 用户虚拟地址空间 “ 中 , 分配一块 ” 虚拟内存区域 " ;
调用 mmap 系统调用 , 先检查 " 偏移 " 是否是 " 内存页大小 " 的 " 整数倍 " , 如果偏移是内存页大小的整数倍 , 则调用 sys_mmap_pgoff 函数 , 继续向下执行 ;
本文介绍了Linux环境下内存管理的一些基本概念和实现细节，包括分段、分页、虚拟内存、物理内存、缺页异常、页面置换算法、内存池、内存回收和压缩等方面的内容。
mmap 函数的作用是 将 文件 映射到 内存中 , 映射的单位必须是 PAGE_SIZE ;
最近收拾东西，从一堆杂物里翻出来尘封四年多的树莓派 3B 主机来，打扫打扫灰尘，接上电源，居然还能通过之前设置好的 VNC 连上。欣慰之余，开始 clone 我的 git 项目，为它们拓展一个新的平台。在执行 cnblogs 项目 (参考《博客园排名预测 》) 对应的绘图命令时，趋势图、预测图是生成了，但没有自动打开图片，这个问题经过一番探索居然解决了，这篇文章就来分享一下解决问题的过程。
使用 malloc 函数申请内存原理 : " 堆内存 " 动态分配 的 系统调用 过程 ;
以前经常遇到2C3G的vmware续集上环境上安装上vpp后，能直接运行，而每次当系统重启后总是报内存不足的问题。当把系统内存调整到4G后，就能正常运行了。一直也不清楚原因。最近工作中遇到一个问题在2c2g的环境上跑vpp，一段时间后，总是报内存不足。后来查询发现hugepage内存大小是1G，但是只使用了不到三分之一的大页内存。
MMKV 是基于 mmap 内存映射的移动端通用 key-value 组件，底层序列化/反序列化使用 protobuf 实现，性能高，稳定性强。从 2015 年中至今，在 iOS 微信上使用已有近 3 年，其性能和稳定性经过了时间的验证。近期已移植到 Android 平台。在腾讯内部开源半年之后，得到公司内部团队的广泛应用和一致好评。现在一并对外开源： https://github.com/tencent/mmkv 欢迎 Star、提 Issue 和 PR。 前言 MMKV 的源起、设计原理与具体实现参
审计固件的时候碰到了一个mips64下uClibc堆管理利用的问题，恰巧网络上关于这个的分析不是很多，于是研究了一下。并不是很全面，做个索引，若有进一步了解时继续补全。
维持了 20 天的复赛终于告一段落了，国际惯例先说结果，复赛结果不太理想，一度从第 10 名掉到了最后的第 36 名，主要是写入的优化卡了 5 天，一直没有进展，最终排名也是定格在了排行榜的第二页。痛定思痛，这篇文章将自己复赛中学习的知识，成功的优化，未成功的优化都罗列一下。
| 导语 企鹅FM近几个版本的外网Crash出现很多OutOfMemory（以下简称OOM）问题，Crash的堆栈都在Thread::start方法上。该文详细分析了发生原因。 ---- 有两种栈： 出现次数最多的一种，称之为 堆栈A。 java.lang.OutOfMemoryError: pthread_create (1040KB stack) failed: Out of memory java.lang.Thread.nativeCreate(Native Method)
作者：freeboy1015 来源：http://lib.csdn.net/article/linux/62126 一. mmap系统调用 1. mmap系统调用 mmap将一个文件或者其它对象映射进内存。文件被映射到多个页上，如果文件的大小不是所有页的大小之和，最后一个页不被使用的空间将会清零。munmap执行相反的操作，删除特定地址区域的对象映射。 当使用mmap映射文件到进程后,就可以直接操作这段虚拟地址进行文件的读写等操作,不必再调用read,write等系统调用.但需注意,直
mmap是一种内存映射文件的方法，即将一个文件或者其它对象映射到进程的地址空间，实现文件磁盘地址和进程虚拟地址空间中一段虚拟地址的一一对映关系。实现这样的映射关系后，进程就可以采用指针的方式读写操作这一段内存，而系统会自动回写脏页面到对应的文件磁盘上，即完成了对文件的操作而不必再调用read,write等系统调用函数。相反，内核空间对这段区域的修改也直接反映用户空间，从而可以实现不同进程间的文件共享。如下图所示：
glibc 提供的 ptmalloc 函数 , FreeBSD 提供的 jemalloc 函数 , Google 提供的 tcmalloc 函数 ,
在接入日志组件xlog的工作中，对mmap内存映射加深了了解，分享一下学习心得。 1.一个Linux进程的虚拟内存 如图展示了一个Linux进程的虚拟内存。 虚拟的意思是进程以为自己有这么一
mmap 另一个非常重要的特性是：减少内存的拷贝次数。在 linux 系统中，文件的读写操作通常通过 read 和 write 这两个系统调用来实现，这个过程会产生频繁的内存拷贝。比如 read 函数就涉及了 2 次内存拷贝：
mmap/munmap接口是用户空间的最常用的一个系统调用接口，无论是在用户程序中分配内存、读写大文件，链接动态库文件，还是多进程间共享内存，都可以看到mmap/munmap的身影。
大家好，我是架构君，一个会写代码吟诗的架构师。今天说一说基于linux开发uvc摄像头_uvc协议扩展,希望能够帮助大家进步!!!
linux系统下一切皆文件，我们几乎无时无刻不在跟文件打交道。内核对文件I/O做了很好的封装，使得开发人员便捷地操作文件，但也因此隐藏了很多细节。如果对其不求甚解，在实际开发中可能会碰到一些意想不到的问题。这次，让我们手拿放大镜，一起窥探文件I/O的全貌。
个参数 , 分别是 unsigned long addr 和 size_t, len , 前者是 内存映射 的 起始地址 , 后者是 内存映射 的 长度 ;
前一篇博客说了怎样通过命名管道实现进程间通信，但是要在windows是使用命名管道，需要使用python调研windows api，太麻烦，于是想到是不是可以通过共享内存的方式来实现。查了一下，Python中可以使用mmap模块来实现这一功能。 Python中的mmap模块是通过映射同一个普通文件实现共享内存的。文件被映射到进程地址空间后，进程可以像访问内存一样对文件进行访问。 不过，mmap在linux和windows上的API有些许的不一样，具体细节可以查看mmap的文档。 下面看一个例子： serve
作者遇到了业务的一个性能抖动问题，在这里介绍一下它的原因和解决办法。 分析 1，page fault 在Linux上，进程分配到的内存是虚拟内存，经过内核的页表管理，会把虚拟内存映射成物理内存。 a，在第一次访问内存的时候，会触发page fault，内核会给进程分配好内存，进程继续执行。 b，内核进行内存回收，可能会把进程的部分内存进行回收，swap到磁盘上，下次访问到再换回来。当然，这个在实际业务上未必会启用swap以防止性能下降。 c，进程自己判断，认为部分内存段时间内不会使用，会尝试把它归还给内核。它的好处是不需要修改进程的虚拟地址空间，只是把内存页面（page）归还给内核，下一次访问到的时候，会因为page fault而重新分配物理内存。 另外需要注意的时候，处理page fault的过程中，需要持有进程的内存的锁（current->mm->mmap_sem）。 2，TLB shootdown 例如某服务器有40CPU，那么就意味着可以同时运行40个task。 例如某业务有30个线程，且这30个线程都很忙，并行执行在30个CPU上。 因为30个线程共享地址空间，它们使用的是相同的页表（page table）。所以在运行这30个线程的CPU上，会加载相同的页表。 当代CPU为了加速TLB查找的速度，会使用cache，也就是说会把对应的页表项（page table entry）加载到TLB cache中。 在运行的某一个时刻，某1个线程执行了上述的page fault的case 3，也就是执行了系统调用int madvise(void *addr, size_t length, MADV_DONTNEED)，想要释放1个page（4K大小），除了需要修改页表释放该page外，还需要确保CPU的TLB cache中也是没有该page的PTE的。因为如果TLB cache还有该PTE，那么CPU访问这个page就不会出错，而这个page已经被释放并分配给其他进程使用的话，就会造成安全问题。 在多核场景下，这个问题就变得更加复杂了。除了运行madvise的线程之后，还需要确保另外的29个线程运行的CPU的TLB cache也是没有该PTE的。为了实现这种效果，需要当前的CPU通知另外的29个CPU，执行clflush或者重新加载cr3。这个通知的过程需要发送IPI（inter processor interrup）。 发送IPI的这个过程，在x86上的体现就是需要CPU执行wrmsr指令，对应的操作是触发ICR。了解虚拟化的朋友应该知道，wrmsr这条指令在虚拟机上需要经过Hypervisor处理，性能更低一些。 除此之外，在执行madvise的过程中，还需要持有当前进程的内存的锁（current->mm->mmap_sem），而且这个锁的粒度比较大。 而jemalloc库，默认情况下，则会释放过期的内存，调用madvise(void *addr, size_t length, MADV_DONTNEED)。 3，smaps/smaps_rollup cat /proc/PID/smaps，可以查看进程的每一段VMA信息。
在本文中，我们来了解下Kafka是如何存储消息数据的。了解了这些，有助于你在遇到性能问题的时候更好地调试，让你知道每个broker配置实际上所起的作用。那么，Kafka内部的存储是什么样的呢？
epoll是一种I/O事件通知机制，是linux 内核实现IO多路复用的一个实现。IO多路复用是指，在一个操作里同时监听多个输入输出源，在其中一个或多个输入输出源可用的时候返回，然后对其的进行读写操作。 epoll有两种工作方式， LT-水平触发 和ET-边缘触发(默认工作方式),主要区别是： LT，内核通知你fd是否就绪，如果没有处理，则会持续通知。而ET，内核只通知一次。 什么是I/O？ 输入输出(input/output)的对象可以是文件(file)， 网络(socket)，进程之间的管道(pipe)。在linux系统中，都用文件描述符(fd)来表示。 什么是事件？ IO中涉及到的行为，建立连接、读操作、写操作等抽象出一个概念，就是事件，在jdk中用类SelectionKey.java来表示，例如：可读事件，当文件描述符关联的内核读缓冲区可读，则触发可读事件（可读：内核缓冲区非空，有数据可以读取）；可写事件，当文件描述符关联的内核写缓冲区可写，则触发可写事件（可写：内核缓冲区不满，有空闲空间可以写入）。 什么是通知机制？ 通知机制，就是当事件发生的时候，则主动通知。通知机制的反面，就是轮询机制。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
