首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

共享内存无锁队列的实现

作者:范健 导语: 共享内存无锁队列是老调重弹了,相关的实现网上都能找到很多。但看了公司内外的很多实现,都有不少的问题,于是自己做了重新实现。...主要是考虑了一些异常情况加强健壮性,并且考虑了C++11的内存模型。 为什么需要共享内存无锁队列?...又因为业务模块可能是多线程模式也可能是多进程模式,所以队列应该是在共享内存中。 简单的做法是,对队列的读写都加锁,但这样无疑会导致高并发下性能瓶颈就在这把锁上。所以我们需要无锁队列。...共享内存 另外一个值得一提的点是,共享内存我使用mmap,而非shmget。因为担心一台机器上部署的程序太多,可能出现共享内存key冲突的情况。...使用共享内存共享资源时,更要想到,这资源不是我独占的,万一被有意或无意的篡改了数据该怎么办?能否尽量避免被别人篡改?如果被篡改,是否有发现和恢复机制?

11.8K31

Linux】进程间通信 --- 管道 共享内存 消息队列 信号量

,他还有许许多多的模块,比如终端处理,以及我们现在所学的通信模块,如果提供的是一大块内存,我们称之为共享内存通信机制,如果是一个计数器,我们称为信号量的机制,如果是一个队列,我们称为消息队列的机制。...答案是:先描述,再组织,OS除了给共享内存开辟一段物理内存块之外,还要对共享内存进行描述,即为创建出共享内存的数据结构对象,这就是先描述。...下面我们再说一下,如何查看IPC资源,通过ipcs -m/q/s就可以看到共享内存,消息队列,信号量等IPC资源的使用情况了,如果要删除某一申请的资源,可以通过指令ipcrm -m/q/s +上层用的id...消息队列通常由两个组件组成:生产者和消费者。生产者将消息发送到队列中,消费者从队列中读取消息并进行处理。...所以不是linux抄袭C++的多态,而是先有的linux后有的C++,linux才是爹。

1.2K40
您找到你想要的搜索结果了吗?
是的
没有找到

Linux共享内存及函数

共享内存的概念 共享内存是指多个进程可以把一段内存共同的内存映射到自己的进程空间中,从而实现数据的共享和传输,它是存在与内核级别的一种资源,是所有进程间通信中方式最快的一种。...),-q(消息队列),-s(信号量)。...对于每一个共享内存段,内核会为其维护一个shmid_ds类型的结构体: // 摘自所用ubuntu18.04电脑中的/usr/include/i386-linux-gnu/bits/shm.h struct...key,ftok() 使用key创建/获得一个共享内存,shmget() 映射共享内存,得到虚拟地址,shmat() 使用共享内存,通过地址指针 移除映射,shmdt() 销毁共享内存,shmctl()...参考: 《精通Linux C编程》- 程国钢 《Linux C编程完全解密》- 闫敬 吴淑坤

6K10

Linux】system V 共享内存

可以,其他进程也可以通信 所以在任何时刻,可能有多个共享内存在被使用 系统中一定会存在很多共享内存同时存在 操作系统要不要整体管理所有的共享内存呢?要 操作性系统如何管理多个共享内存呢?...先描述,在组织 并不是在内存中开辟空间即可,系统为了管理共享内存,构建对应的描述共享内存的结构体对象 共享内存=共享内存的内核数据结构(伪代码:struct shm)+真正开辟的内存空间 2....创建共享内存 获取共享内存 创建共享内存,调用shmget函数,通过两个选项 若共享内存不存在则创建,若存在则报错 而获取共享内存,调用shmget函数,则返回已有的共享内存 ---- 此时运行可执行程序...将自己和共享内存关联起来 输入 man shmat 指令 at代表 关联 将共享内存和目标值关联起来 返回值为 共享内存的虚拟地址的起始地址 我们不知道应该把共享内存放在虚拟空间的什么地址处...ipc通信策略 Message Queues 消息队列 Shared Memory Segments 共享内存段 Semaphore Arrays 信号量 ---- ipcs - m 查看共享内存

17920

Linux进程通信——共享内存

void* attachshm(int shmid) { void* p = shmat(shmid, nullptr, 0); if((long long)p == -1L)//因为linux...void* attachshm(int shmid) { void* p = shmat(shmid, nullptr, 0); if((long long)p == -1L)//因为linux...system V消息队列(了解) 消息队列提供了一个从一个进程向另外一个进程发送一块数据的方法。 每个数据块都被认为是有一个类型,接收者进程接收的数据块可以有不同的类型值特性方面。...用这个接口可以获取消息队列: 返回值是创建好的消息队列的标识符。 下面这个是消除消息队列。 这是消息队列的数据结构。 也可以理解为是一个链式结构。...(这就像买电影票可以买很多张不同的电影票一样) IPC资源的组织方式 这里其实我们已经发现了,共享内存的数据结构,消息队列的数据结构,信号量的数据结构,他们的接口相似度非常高!

5.5K30

Linux】system V进程间通信——共享内存、消息队列、信号量

system V IPC提供的通信方式有三种: 共享内存、消息队列、信号量;并且生命周期是随OS的,而不是随进程的,这是所有System V进程间通信的共性` 一、共享内存 1.共享内存的基本原理...3.如果不想通信:取消进程和内存的映射关系,释放内存 而我们把创建好的内存称为共享内存,把进程和共享内存建立映射关系的操作称为挂接,把取消进程和内存的映射关系称为去关联 把释放内存称为释放共享内存。...共享内存的建立:在物理内存当中申请共享内存空间;将申请到的共享内存挂接到地址空间,即建立映射关系。...共享内存的释放:共享内存与地址空间去关联,即取消映射关系;释放共享内存空间,即将物理内存归还给系统。...OS如何管理:先描述,在组织,对相关资源的内核数据结构做管理,对于共享内存、消息队列、信号量的第一个成员都是ipc_perm: struct ipc_perm {

24620

Linux内核编程--内存映射和共享内存

参数取值: MS_ASYNC:异步写 MS_SYNC:同步写 MS_INVALIDATE:使高速缓存的数据失效 ‍ *MS_ASYNC和MS_SYNC的区别,一旦写操作已经由内核排入队列,MS_ASYNC...: 内存映射和共享内存的区别: 1.内存映射与文件关联,共享内存不需要与文件关联,把共享内存理解为内存上的一个匿名片段。...共享内存允许多个进程共享一个给定的存储区。...一般用信号量来同步共享内存的访问。 共享内存区在系统存储中的位置: 为什么要用共享内存: 对于涉及到内核操作的,内核和进程之间,经历了四次复制操作,开销很大。...*buf) --shmid:共享内存标识符 --cmd:共享内存控制指令 IPC_STAT:得到共享内存的状态 IPC_SET:改变共享内存的状态 IPC_RMID:删除该共享内存 --shmid_ds

5.8K10

Linux修炼】16.共享内存

共享内存 一.共享内存的原理 二.共享内存你的概念 2.1 接口认识 2.2演示生成key的唯一性 2.3 再谈key 三.共享资源的查看 3.1 如何查看IPC资源 3.2 IPC资源的特征 3.3...进程之间通过共享内存进行关联 四.共享内存的特点 五.共享内存的内核结构 六.共享内存函数的总结 共享内存是为通信而诞生的。...因此,我们把申请的这块空间称之为共享内存,将映射关系称之为进程和共享内存进行挂接。...共享内存是一种通信方式,所有想通信的进程,都可以用。 OS中一定会存在着很多共享内存。 二.共享内存你的概念 通过让不同的进程,看到同一个内存块的方式,叫做共享内存。...而OS申请的共享空间,也一定和进程一样需要被管理,既然需要管理,那么一定也是先描述再组织的方式,即共享内存 = 物理内存块+共享内存的相关属性 。

3.9K00

Linux进程间通信【共享内存

除此之外,System V 标准中还有另外两种通信方式: 消息队列 信号量 这两种通信方式现在已经比较少见了,因为 存在更好的、更实用的通信方式(比如 POSIX 中提供的通信方式) 话不多说,先来看看...,相关信息都是存储在共享区中 注意: 共享内存块的创建、进程间建立映射都是由 OS 实际执行的 ---- 2、共享内存的相关知识 在正式使用共享内存通信之前,需要先学习一下 共享内存的相关知识,因为这里的共享内存出自...System V 标准,所以 System V 中的消息队列、信号量绝大部分接口的风格也与之差不多 2.1、共享内存的数据结构 共享内存不止用于两个进程间通信,所以共享内存必须确保能持续存在,这也就意味着共享内存的生命周期不随进程...减少拷贝(IO)次数 得益于共享内存的这种特性,可以让进程通信的时候,减少拷贝次数,所以共享内存是所有进程通信中,速度最快的 4.3、共享内存的缺点 共享内存这么快,为什么不直接只使用共享内存呢?...》 ---- 总结 以上就是本次关于 Linux 进程间通信之 共享内存 的全部内容了,共享内存 是所有 IPC 中最快的一种,因为它省去了很多不必要的 IO 操作,进程直接对话进程,效率极高,不过在狂飙的后果就是不安全

24000

Linux进程通信之共享内存

Linux进程通信之共享存储 概念: 共享内存指 (shared memory)在多处理器的计算机系统中,可以被不同中央处理器(CPU)访问的大容量内存。...任何一个缓存的数据被更新后,由于其他处理器也可能要存取,共享内存就需要立即更新,否则不同的处理器可能用到不同的数据。...共享内存是 Unix下的多进程之间的通信方法 ,这种方法通常用于一个程序的多进程间通信,实际上多个程序间也可以通过共享内存来传递信息。...PHP中的封装: php中封装了shm开头的函数和shmop开头的函数,实际效果是一样的,具体使用方式请查看官方手册 ,下面我们以shm开头的为例演示 特点: 共享内存是将内存映射到其他进程的地址空间中...,所以说共享内存也是最快的IPC进程通信方式 前提: 在使用IPC进程通信时,也就是信号量、消息队列共享存储时,首先要先确定自己的PHP扩展是否已经开启,使用php -m 查看 编写代码 父子进程

4.7K31

速通 Linux 共享内存原理

共享内存是一个非常有意思的话题,一方面共享内存避免了通讯过程中的内存复制问题,是 Linux IPC 通讯中效率最高的一种。...从使用方式上讲,Linux 提供了三种共享内存的方式,包括 Unix 味的 POSIX 和 SysV 接口,还提供了直接文件映射内存的 mmap。...本文尝试分别介绍 Linux 共享内存的基本原理,并做一个 “违背祖宗的决定”,如何在 Golang 中使用共享内存。...Golang 是通过通讯代替共享内存的优雅代表,下文仅做试验,不建议日常使用 mmap mmap 是 POSIX 规范中的文件映射内存的方法,Linux 并提供了同名系统调用。...总结 从原理上讲 Linux 共享内存的主要方式只有两种,一是基于文件的 mmap,另一种就是 tmpfs,用一张图描述 Linux 几种实现共享内存的方式:

4K20

Linux之进程间通信——system V(共享内存、消息队列、信号量等)

前言 本文介绍了另一种进程间通信——system V,主要介绍了共享内存,消息队列、信号量,当然消息队列了信号量并非重点,简单了解即可。...(缺点) 四、消息队列(了解) 1.概念 消息队列是OS提供的内核级队列,消息队列提供了推广从一个进程想另一个进程发送一块数据的方法。...3.消息队列的相关函数 msgget:获取消息队列 参数 key:ftok函数生成的一个key值,它作为msgget的第一个参数; msgflg:与创建共享内存用的函数shmget的第三个参数相同;...OS的管理本质都是 先描述,再组织,对于共享内存、消息队列、信号量等的第一个成员都是结构体ipc_perm的变量。...本文作者目前也是正在学习Linux相关的知识,如果文章中的内容有错误或者不严谨的部分,欢迎大家在评论区指出,也欢迎大家在评论区提问、交流。

22820

Linux之进程间通信——system V(共享内存、消息队列、信号量等)

前言 本文介绍了另一种进程间通信——system V,主要介绍了共享内存,消息队列、信号量,当然消息队列了信号量并非重点,简单了解即可。...(缺点) 四、消息队列(了解) 1.概念 消息队列是OS提供的内核级队列,消息队列提供了推广从一个进程想另一个进程发送一块数据的方法。...3.消息队列的相关函数 msgget:获取消息队列 参数 key:ftok函数生成的一个key值,它作为msgget的第一个参数; msgflg:与创建共享内存用的函数shmget的第三个参数相同;...OS的管理本质都是 先描述,再组织,对于共享内存、消息队列、信号量等的第一个成员都是结构体ipc_perm的变量。...本文作者目前也是正在学习Linux相关的知识,如果文章中的内容有错误或者不严谨的部分,欢迎大家在评论区指出,也欢迎大家在评论区提问、交流。

20420

Linux进程间通信:共享内存 (下)

Linux进程间通信:共享内存 (上) POSIX共享内存 POSIX共享内存实际上毫无新意,它本质上就是mmap对文件的共享方式映射,只不过映射的是tmpfs文件系统上的文件。 什么是tmpfs?...Linux提供一种“临时”文件系统叫做tmpfs,它可以将内存的一部分空间拿来当做文件系统使用,使内存空间可以当做目录文件来用。...现在绝大多数Linux系统都有一个叫做/dev/shm的tmpfs目录,就是这样一种存在。具体使用方法,大家可以参考我的另一篇文章《Linux内存中的Cache真的能被回收么?》。...Linux提供的POSIX共享内存,实际上就是在/dev/shm下创建一个文件,并将其mmap之后映射其内存地址即可。...这部分内容大家也可以参考《Linux内存中的Cache真的能被回收么?》。

8K12

Linux 进程间通信 : 共享内存(上)

前言 本文主要说明在Linux环境上如何使用共享内存。阅读本文可以帮你解决以下问题: 什么是共享内存和为什么要有共享内存? 如何使用mmap进行共享内存? 如何使用XSI共享内存?...XSI共享内存 为了满足多个无关进程共享内存的需求,Linux提供了更具通用性的共享内存手段,XSI共享内存就是这样一种实现。...最后大家还应该明白,key作为全局唯一标识不仅仅体现在XSI的共享内存中,XSI标准的其他进程间通信机制(信号量数组和消息队列)也使用这一命名方式。...后续我们还将看到,除了共享内存外,XSI的信号量、消息队列也都是通过这种方式进行相关资源标识的。 除了可以删除一个共享内存以外,shmctl还可以查看、修改共享内存的相关属性。...接Linux进程间通信:共享内存 (下)

11K33

Linux进程间通信之共享内存

一,共享内存   内核管理一片物理内存,允许不同的进程同时映射,多个进程可以映射同一块内存,被多个进程同时映射的物理内存,即共享内存。   映射物理内存叫挂接,用完以后解除映射叫脱接。...1,共享内存的特点: 优点:是最快的IPC。 缺点:要编程者自己实现对共享内存互斥访问。如何实现?...     3) 映射共享内存(得到虚拟地址), shmat()      4) 使用共享内存, 往共享内存中写入数据      5) 解除映射 shmdt()      6) 如果共享内存不再使用,可以使用...shmctl()销毁共享内存 进程B: readshm.c        1) 获得key, ftok()        2) 使用key来获得一个共享内存 shmget()        3) 映射共享内存...(得到虚拟地址), shmat()        4) 使用共享内存, 读取共享内存中的数据        5) 解除映射 shmdt()      3,实例 进程A: // writeshm.c

4.3K50
领券