共享内存是一个非常有意思的话题，一方面共享内存避免了通讯过程中的内存复制问题，是 Linux IPC 通讯中效率最高的一种。另一方面，因为可以直接对内存甚至其他进程的内存进行修改，利用共享内存可以实现一些常规操作无法做到的奇技淫巧。
This error usually means that PostgreSQL's request for a shared memory segment exceeded available memory, swap space, or huge pages. To reduce the request size (currently 17667276800 bytes), reduce PostgreSQL's shared memory usage, perhaps by reducing shared_buffers or max_connections.
几种进程间的通信方式：管道，FIFO，消息队列，他们的共同特点就是通过内核来进行通信（假设POSIX消息队列也是在内核中实现的，因为POSIX标准并没有限定它的实现方式）。向管道，FIFO，消息队列写入数据需要把数据从进程复制到内核，从这些IPC读取数据的时候又需要把数据从内核复制到进程。所以这种IPC方式往往需要2次在进程和内核之间进行数据的复制，即进程间的通信必须借助内核来传递。如下图所示：
本文介绍了Linux系统下共享内存的概念、实现方法以及相关的应用，包括共享内存的读写、同步和调试等方面。
早期的共享内存，着重于强调把同一片内存，map到多个进程的虚拟地址空间（在相应进程找到一个VMA区域），以便于CPU可以在各个进程访问到这片内存。
共享内存的优势 采用共享内存通信的一个显而易见的好处是效率高，因为进程可以直接读写内存，而不需要任何数据的拷贝。对于像管道和消息队列等通信方式，则需要在内核和用户空间进行四次的数据拷贝，而共享内存则只拷贝两次数据：一次从输入文件到共享内存区，另一次从共享内存区到输出文件。实际上，进程之间在共享内存时，并不总是读写少量数据后就解除映射，有新的通信时，再重新建立共享内存区域。而是保持共享区域，直到通信完毕为止，这样，数据内容一直保存在共享内存中，并没有写回文件。共享内存中的内容往往是在解除映射时才写回文件的。因
进程间的通信-共享内存 共享内存机制 共享内存机制是允许两个或多个进程(不相关或有亲缘关系)访问同一逻辑内存的机制。它是共享和传递数据的一种非常有效的方式。不同进程之间共享的内存通常安排为同一段物理内存。 ---- 两种常用的共享内存方式 System V版本的共享内存 shmm 多进程直接共享内存 文件映射mmap 如果一个文件需要频繁进行读写，那么将它映射到内存中。 将特殊文件进行匿名内存映射，为有关联的进程提供共享内存空间。 为无关联的进程提供共享内存空间，将
共享内存是进程间通信最有用的方式，也是最快的IPC形式。共享内存是说：同一块内存被映射到多个进程的地址空间。但是共享内存并不提供同步机制，因此需要互斥锁或者信号量。使用共享内存唯一需要注意的是：当前如果有进程正在向共享内存写数据，则在写入完成以前，别的进程不应当去读、写共享内存。
编辑手记：很多人都认为，Linux中buffers和cached所占用的内存空间是可以在内存压力较大的时候被释放当做空闲空间用的。但真的是这样么？今天我们重新来认识。 作者介绍 邹立巍 Linux系
共享内存可以说是最有用的进程间通信方式，也是最快的IPC形式。两个不同进程A、B共享内存的意思是，同一块物理内存被映射到进程A、B各自的进程地址空间。进程A可以即时看到进程B对共享内存中数据的更新，反之亦然。由于多个进程共享同一块内存区域，必然需要某种同步机制，互斥锁和信号量都可以。采用共享内存通信的一个显而易见的好处是效率高，因为进程可以直接读写内存，而不需要任何数据的拷贝。因此，采用共享内存的通信方式效率是非常高的。
之前的文章中，我们讲到了无文件执行的方法以及混淆进程参数的方法，今天我们继续讲解一种linux无文件执行的技巧，是后台朋友给我的提醒，万分感谢，又学到了新的东西。
这篇文章讨论如何使用CRIU迁移使用了共享内存的程序，主要讨论其中的前两种共享内存方法，最终介绍一种支持热迁移的C程序共享内存使用方法。
在Linux系统中，每个进程都有独立的虚拟内存空间，也就是说不同的进程访问同一段虚拟内存地址所得到的数据是不一样的，这是因为不同进程相同的虚拟内存地址会映射到不同的物理内存地址上。
本文介绍了Linux信号量、POSIX信号量、Linux条件变量和Linux线程同步基本概念，并通过代码示例展示了如何使用这些技术进行线程同步。
在某些情况下，我们可能需要在两个Python程序之间共享数据，其中一个程序将数据写入计算机内存，然后退出，另一个程序启动后读取第一个程序保存的内存数据。这乍听之下似乎不太可能实现，但在某些操作系统中，可以使用共享内存段来实现这一目标。
一些公共服务组件在追求性能过程中，与业务耦合太紧，造成在制作基础镜像时，都会把这些基础组件都打包进去，因此当业务镜像启动后，容器里面一大堆进程，这让Kubernetes对Pod的管理存在很大隐患。为了让业务容器瘦身，更是为了基础组件自身的管理更独立和方便，将基础组件从业务镜像中剥离并DaemonSet容器化部署。然而一些基础组件Agent与业务Pod之间通过共享内存的方式进行通信，同一Node中跨Pod的共享内存方案是首先要解决的问题。
在PG代码中可以看到shm_toc初始化一段内存，在头部放置shm_toc，这块内存叫做一个内存段，shm_toc_create函数接受已经申请好的内存地址，在头部初始化shm_toc（表示内存段头），后面可以存放用户自定义数据，比如message queue所需的结构体、数据等。
自研的公共基础组件，比如服务路由组件、安全组件等，通常以进程方式部署在Node上并同时为Node上所有的业务提供服务，微服务及容器化之后，服务数量成百上千的增长，如果以sidecar或者打包到业务Image中继续Per Pod Per Agent的方式部署, 那么基础组件的Server端的压力可能也会成百上千的增长，风险是很大的。因此，我们希望能以DaemonSet方式部署这些组件的Agents。
共享内存是System V版本的最后一个进程间通信方式。共享内存，顾名思义就是允许两个不相关的进程访问同一个逻辑内存，共享内存是两个正在运行的进程之间共享和传递数据的一种非常有效的方式。不同进程之间共享的内存通常为同一段物理内存。进程可以将同一段物理内存连接到他们自己的地址空间中，所有的进程都可以访问共享内存中的地址。如果某个进程向共享内存写入数据，所做的改动将立即影响到可以访问同一段共享内存的任何其他进程。
你是否经常会遇到这样的困难：处理不同进程的应用程序时，需求方会要求包含所有进程以实现更多隔离。在这种情况下，一个常见的问题是：如何在同一 Node 中的 Pod 间实现共享内存。王涛是腾讯云的高级工程师，在本文中，他将阐述一种在 Pod 间利用 Posix/SystemV 来实现共享内存的解决方案，一起来看看吧。
Envoy Proxy 在大多数情况下都是作为 Sidecar 与应用部署在同一网络环境中，每个应用只需要与 Envoy（localhost）交互，不需要知道其他服务的地址。然而这并不是 Envoy 仅有的使用场景，它本身就是一个七层代理，通过模块化结构实现了流量治理、信息监控等核心功能，比如流量治理功能就包括自动重连、熔断、全局限速、流量镜像和异常检测等多种高级功能，因此 Envoy 也常常被用于边缘代理，比如 Istio 的 Ingress Gateway、基于 Envoy 实现的 Ingress Controller（Contour、Ambassador[1]、Gloo[2] 等）。
在 Linux 系统中，我们经常用 free 命令来查看系统内存的使用状态。在个 RHEL6 的系统上，free 命令的显示内容大概是这样一个状态： 这里的默认显示单位是 kb，我的服务器是 128
共享内存广泛用于Redis，Kafka，RabbitMQ 等高性能组件中，本文主要提供一个共享内存在广告埋点数据采集的实战场景。
VxWorks支持POSIX的shared memory object - 通过shm_open()获得文件描述符，然后使用mmap()进行映射。shared和private方式都支持。
要使用共享内存，应该有如下步骤：1.开辟一块共享内存shmget()2.允许本进程使用共某块共享内运维
iomem=str mem=str Fio can use various types of memory as the io unit buffer. The allowed values are: malloc Use memory from malloc(3) as the buffers. shm Use shared memory as the buffers. Allocated through shmget(2). shmhuge Same as shm, but use huge pages as backing. mmap Use mmap to allocate buffers. May either be anonymous memory, or can be file backed if a filename is given after the option. The format is mem=mmap:/path/to/file. mmaphuge Use a memory mapped huge file as the buffer backing. Append filename after mmaphuge, ala mem=mmaphuge:/hugetlbfs/file mmapshared Same as mmap, but use a MMAP_SHARED mapping. The area allocated is a function of the maximum allowed bs size for the job, multiplied by the io depth given. Note that for shmhuge and mmaphuge to work, the system must have free huge pages allocated. This can normally be checked and set by reading/writing /proc/sys/vm/nr_hugepages on a Linux system. Fio assumes a huge page is 4MB in size. So to calculate the number of huge pages you need for a given job file, add up the io depth of all jobs (normally one unless iodepth= is used) and multiply by the maximum bs set. Then divide that number by the huge page size. You can see the size of the huge pages in /proc/meminfo. If no huge pages are allocated by having a non-zero number in nr_hugepages, using mmaphuge or shmhuge will fail. Also see hugepage-size. mmaphuge also needs to have hugetlbfs mounted and the file location should point there. So if it'smountedin/huge,youwouldusemem=mmaphuge:/huge/somefile.iomem_align=intThisindiciatesthememoryalignmentoftheIOmemorybuffers.NotethatthegivenalignmentisappliedtothefirstIOunitbuffer,ifusingiodepththealignmentofthefollowingbuffersaregivenbythebsused.Inotherwords,ifusingabsthatisamultipleofthepagesizedinthesystem,allbufferswillbealignedtothisvalue.Ifusingabsthatisnotpagealigned,thealignmentofsubsequentIOmemorybuffersisthesumoftheiomem_alignandbsused.hugepage-size=intDefinesthesiz
在Linux系统上查看内存使用状况最常用的命令是"free"，其中buffers和cache通常被认为是可以回收的：
引子 在编译2.6内核的时候，你会在编译选项中看到[*] Enable futex support这一项，上网查，有的资料会告诉你"不选这个内核不一定能正确的运行使用glibc的程序"，那futex是什么？和glibc又有什么关系呢？ 1. 什么是Futex Futex 是Fast Userspace muTexes的缩写，由Hubertus Franke, Matthew Kirkwood, Ingo Molnar and Rusty Russell共同设计完成。几位都是linux领域的专家，其中可能Ingo Molnar大家更熟悉一些，毕竟是O(1)调度器和CFS的实现者。 Futex按英文翻译过来就是快速用户空间互斥体。其设计思想其实 不难理解，在传统的Unix系统中，System V IPC(inter process communication)，如 semaphores, msgqueues, sockets还有文件锁机制(flock())等进程间同步机制都是对一个内核对象操作来完成的，这个内核对象对要同步的进程都是可见的，其提供了共享 的状态信息和原子操作。当进程间要同步的时候必须要通过系统调用(如semop())在内核中完成。可是经研究发现，很多同步是无竞争的，即某个进程进入 互斥区，到再从某个互斥区出来这段时间，常常是没有进程也要进这个互斥区或者请求同一同步变量的。但是在这种情况下，这个进程也要陷入内核去看看有没有人 和它竞争，退出的时侯还要陷入内核去看看有没有进程等待在同一同步变量上。这些不必要的系统调用(或者说内核陷入)造成了大量的性能开销。为了解决这个问 题，Futex就应运而生，Futex是一种用户态和内核态混合的同步机制。首先，同步的进程间通过mmap共享一段内存，futex变量就位于这段共享 的内存中且操作是原子的，当进程尝试进入互斥区或者退出互斥区的时候，先去查看共享内存中的futex变量，如果没有竞争发生，则只修改futex,而不 用再执行系统调用了。当通过访问futex变量告诉进程有竞争发生，则还是得执行系统调用去完成相应的处理(wait 或者 wake up)。简单的说，futex就是通过在用户态的检查，（motivation）如果了解到没有竞争就不用陷入内核了，大大提高了low-contention时候的效率。 Linux从2.5.7开始支持Futex。 2. Futex系统调用 Futex是一种用户态和内核态混合机制，所以需要两个部分合作完成，linux上提供了sys_futex系统调用，对进程竞争情况下的同步处理提供支持。 其原型和系统调用号为 #include <linux/futex.h> #include <sys/time.h> int futex (int *uaddr, int op, int val, const struct timespec *timeout,int *uaddr2, int val3); #define __NR_futex 240 虽然参数有点长，其实常用的就是前面三个，后面的timeout大家都能理解，其他的也常被ignore。 uaddr就是用户态下共享内存的地址，里面存放的是一个对齐的整型计数器。 op存放着操作类型。定义的有5中，这里我简单的介绍一下两种，剩下的感兴趣的自己去man futex FUTEX_WAIT: 原子性的检查uaddr中计数器的值是否为val,如果是则让进程休眠，直到FUTEX_WAKE或者超时(time-out)。也就是把进程挂到uaddr相对应的等待队列上去。 FUTEX_WAKE: 最多唤醒val个等待在uaddr上进程。 可见FUTEX_WAIT和FUTEX_WAKE只是用来挂起或者唤醒进程，当然这部分工作也只能在内核态下完成。有些人尝试着直接使用futex系统调 用来实现进程同步，并寄希望获得futex的性能优势，这是有问题的。应该区分futex同步机制和futex系统调用。futex同步机制还包括用户态 下的操作，我们将在下节提到。 3. Futex同步机制 所有的futex同步操作都应该从用户空间开始，首先创建一个futex同步变量，也就是位于共享内存的一个整型计数器。 当 进程尝试持有锁或者要进入互斥区的时候，对futex执行"down"操作，即原子性的给futex同步变量减1。如果同步变量变为0，则没有竞争发生， 进程照常执行。如果同步变量是个负数，则意味着有竞争发生，需要调用futex系统调用的futex_wait操作休眠当前进程。 当进程释放锁或 者要离开互斥区的时候，对futex进行"up"操作，即原子性的给futex同步变量加1。如果同步变量由0变成1，则没有竞争发生，进程照常执
共享内存优点： 1.在进程之间不通过内核传递数据，即不通过系统调用拷贝数据，达到快速，高效的数据传输。 2.随内核持续 *nix的共享内存有两套API:Posix和System V 两者的主要差别是共享内存的大小 1.Posix共享内存大小可通过函数ftruncate随时修改 2.System V共享内存大小在创建时就已经确定，而且最大值根据系统有所不同 Posix共享内存 #include <sys/mman.h> （mma
在 Linux 系统的进程虚拟内存中，一个重要的特性就是不同进程的地址空间是隔离的。A 进程的地址 0x4000 和 B 进程的 0x4000 之间没有任何关系。这样确确实实是让各个进程的运行时互相之间的影响降到了最低。某个进程有 bug 也只能自己崩溃，不会影响其它进程的运行。
nginx中， 作者为我们提供了方便共享内存的使用的接口，关于共享内存的使用在我之前的文章中有介绍。这次我们来研究一下nginx是如何实现的。 我们知道，如果我们的模块中要使用一个共享内存，需要调用ngx_shared_memory_add来创建共享内存。而ngx_shared_memory_add不会马上创建一个共享内存，它是先登记一下共享内存的使用信息，比如名称、大小等，然后在进程初始化的时候再进行共享内存的创建与初始化。 那么，ngx_shared_memory_add这个函数是将共享内存的分配登记在哪的呢？在ngx_cycle_s这个结构体中有一个成员，即ngx_cycle_s->shared_memory，它是一个list，用来保存所有登记的共享内存，这个list中保存的是ngx_shm_zone_t类型的数据。下面是ngx_shm_zone_t这个结构体的实现源码：
由于管道仅仅是将一个进程的读端和另一个进程的写端连通的单通信方法，所以又叫“半双工管道”。在shell中管道用“|”表示。 管道的历史很悠久了。
引子 在编译2.6内核的时候，你会在编译选项中看到[*] Enable futex support这一项，上网查，有的资料会告诉你”不选这个内核不一定能正确的运行使用glibc的程序”，那futex是什么？和glibc又有什么关系呢？
今天突然被 ==“不同场景下该如何选择进程间通信方式？”==给噎着了，这我还真没认真想过，以前只知道说它们都是什么？为什么？怎么用？还真没想过什么时候用谁？这个问题。
将一个文件或其它对象映射到进程地址空间，实现文件在磁盘的存储地址和进程地址空间中一段虚拟地址的映射关系。有了这样的映射，进程利用指针直接读写虚拟地址就可以完成对文件的读写操作。这样可以避免进行read/write函数操作。
信号灯概述 什么是信号灯 信号灯用来实现同步，用于多线程，多进程之间同步共享资源（临界资源）。 PV原语：信号灯使用PV原语 P原语操作的动作是： u sem减1。 u sem减1后仍大于或等于零，则进程继续执行。 u 若sem减1后小于零，则该进程被阻塞后进入与该信号相对应的队列中，然后转进程调度。 V原语操作的动作是： u sem加1。 u 若相加结果大于零，则进程继续执行。 u 若相加结果小于或等于零，则从该信号的等待队列中唤醒一等待进程，然后再返回原进程继续执行或转进程调度。 信号灯分类 按信号灯实
Posix提供了无亲缘关系进程间共享内存区的两种方法： 内存映射文件：由open函数打开，由mmap函数把得到的描述字映射到当前进程地址空间的一个文件 共享内存区对象：由shm_map打开一个IPC名字，由mmap函数把得到的描述字映射到当前进程地址空间的一个文件
tcpdump 作为计算机网络排查的一大神器，掌握了上文所说的技巧，可以让你随时随地得心应手的掌握网络应用的一举一动。
在android源码的驱动目录下，一般会有共享内存的相关实现源码，目录是：kernel\drivers\staging\android\ashmem.c。但是本篇文章不是讲解android共享内存的功能实现原理，而是讲怎么运用它。
1. 概览 本文记录经典的IPC：pipes, FIFOs, message queues, semaphores, and shared memory。 2. PIPES 管道是UNIX系统IPC的最古老形式，并且所有的UNIX系统都提供此通信机制。但管道有两个局限性： 历史上，它们是半双工的，现在某些系统提供全双工管道。 它们只能在共有祖先的进程间使用。通常，一个管道由一个进程创建，然后该进程调用fork，此后父进程与子进程之间就可以使用管道通讯。 管道由pipe创建。 #include <unistd
说到共享内存，有过操作系统学习的童靴应该十分熟悉，往往聊到进程之间通信的4种方式时就能脱口而出（面试最常见的问题之一啊，哈哈哈~~）：
PHP项目中，尤其是在高并发大流量的场景中，如何提升PHP的响应时间，是一项十分重要的工作。
opcache从字面意思，肯定是缓存这一块的。但是你是否知道它的工作原理是怎样的呢？这里一点一点让你了解！ PHP项目中，尤其是在高并发大流量的场景中，如何提升PHP的响应时间，是一项十分重要的工作。而Opcache又是优化PHP性能不可缺失的组件，尤其是应用了PHP框架的项目中，作用更是明显。 1. 概述在理解 OPCache 功能之前，我们有必要先理解PHP-FPM + Nginx 的工作机制，以及PHP脚本解释执行的机制。 1.1 PHP-FPM + Nginx
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
