首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

Linux进程间通信(上)之管道消息队列实践

1、进程间通信简述 进程间通信的几种方式:无名管道、有名管道消息队列、共享内存、信号、信号量、套接字(socket)。 进程间通信是不同进程直接进行的一些接触,这种接触有简单,有复杂。...管道Linux支持的最初Unix IPC形式之一,管道管道之间通信其实就是一个文件,但它不是一个普通的文件,它不属于某种文件系统,而是自立门户,单独构成一种文件系统而且只存在内存中。...我们可以通过发送消息来避免命名管道的同步和阻塞问题。但是消息队列与命名管道一样,每个数据块都有一个最大长度的限制。...造成msgsnd()等待的条件有两种:当前消息的大小与当前消息队列中的字节数之和超过了消息队列的总容量;当前消息队列消息数不小于消息队列的总容量,此时,虽然消息队列中的消息数目并不多,但基本上都只有一个字节...消息队列克服了信号传递信息少、管道只能承载无格式字节流以及缓冲区大小受限等缺点,相对于管道通信有很大的改观,而且消息队列对数据的顺序处理也是非常有条理性的不会产生混杂性。

2.2K10

Linux 下的进程间通信:使用管道消息队列

本篇是 Linux 下进程间通信(IPC)系列的第二篇文章。第一篇文章 聚焦于通过共享文件和共享内存段这样的共享存储来进行 IPC。这篇文件的重点将转向管道,它是连接需要通信的进程之间的通道。...在 Linux 系统中, PIPE_BUF 的大小是 4096 字节。对于管道我更喜欢只有一个写入方和一个读取方,从而绕过这个问题。...正如它的名字所提示的那样,消息队列是一系列的消息,每个消息包含两部分: 荷载,一个字节序列(在 C 中是 char) 类型,以一个正整数值的形式给定,类型用来分类消息,为了更灵活的回收 看一下下面对一个消息队列的描述...假如按照严格的 FIFO 行为执行,消息将会以 1-2-2-3 这样的次序被接收。但是消息队列允许其他收取次序。例如,消息可以被接收方以 3-2-1-2 的次序接收。...输出也显示消息队列是持久的,即便 sender 进程在完成创建队列、向队列写数据、然后退出的整个过程后,该队列仍然存在。

1.2K20
您找到你想要的搜索结果了吗?
是的
没有找到

Linux】进程间通信 --- 管道 共享内存 消息队列 信号量

,他还有许许多多的模块,比如终端处理,以及我们现在所学的通信模块,如果提供的是一大块内存,我们称之为共享内存通信机制,如果是一个计数器,我们称为信号量的机制,如果是一个队列,我们称为消息队列的机制。...四、System V 消息队列(了解) 1.消息队列提供了一个从一个进程向另外一个进程发送一块数据的方法 2.每个数据块都被认为是有一个类型,接收者进程接收的数据块可以有不同的类型值 3.IPC资源必须删除...,否则不会自动清除,除非重启,所以system V IPC资源的生命周期随内核 内核也给我们提供了获取消息队列和控制消息队列的系统接口 4....消息队列通常由两个组件组成:生产者和消费者。生产者将消息发送到队列中,消费者从队列中读取消息并进行处理。...消息队列软件可以提供许多有用的功能,例如消息确认、消息分组、消息过期时间等等 下面是消息队列的数据发送和接收接口。 五、System V 信号量(了解) 1.信号量是什么?

1.2K40

Linux消息队列

什么是消息队列 消息队列可以分为队列消息 队列 队列是从开始到结束,有序的排放消息消息队列是用来在应用程序发送消息队列中存放了一些待处理的消息。...消息队列的基本结构是简单的,有一个客户端应用程序称为生产者,创建消息,并将它们传送到消息队列。其他应用程序,称为消费者,连接到队列,并得到要处理的消息。...消息队列API 创建新消息队列或取得已存在消息队列 #include ------------------------------------ int msgget(key_t...格式如下:msgsz消息的大小msgflgIPC_NOWAIT: 如果消息队列中没有数据,则立刻返回不用等待。MSG_NOERROR:如果消息队列长度大于msgsz,截断消息。...IPC_SET该命令用来设置消息队列的属性,要设置的属性存储在buf中。IPC_RMID从内核中删除 msqid 标识的消息队列

4.1K30

Linux消息队列及函数

消息队列的概念 消息队列就是一个消息的链表,每个消息队列都有一个队列头,用结构struct msg_queue来描述。...队列头中包含了该队列的大量信息,包括消息队列的键值、用户ID、组ID、消息数目、读写进程ID等。...在以下两种情况下,msgget()将创建一个新的消息队列: 如果没有消息队列与键值key相对应,且msgflg中包含了IPC_CREAT标志位 key参数为IPC_PRIVATE 消息队列的读写 消息队列传递的消息由两部分组成...<0 接收消息队列中类型值小于type的绝对值的所有消息中类型值最小的那一条消息 消息队列属性设置 消息队列的信息基本都保存在消息队列头中,可分配一个类似于消息队列头的结构struct msqid_ds...参考: 《精通Linux C编程》- 程国钢 《Linux C编程完全解密》- 闫敬 吴淑坤

4.7K20

Linux内核编程--消息队列

一,关于Linux中的IPC IPC的意思是“ 进程间通信机制”,Linux内核有三种常用IPC对象可以拿来做进程间通信--消息队列,共享内存,信号量。...这三种IPC对象在Linux内核中都以链表的形式存储,它们都有特定的ID来标识(消息队列标识符msqid、共享内存标识符shmid,信号量标识符semid)。...消息队列与其他进程通信机制的比较: 与信号量相比,消息队列可以承载更多的通信数据。 与管道的默认接收相比,消息队列可以让接收进程有选择地接收通信数据,还可以设置接收的优先级。...当使用消息队列的进程终止时,消息队列不会自动删除。但所有引用管道的进程终止时,管道会自动删除。 与共享内存相比,共享内存的速度更快,因为对共享内存的处理不经过内核调用,而消息队列需要经过内核调用。...(2)消息队列允许一个或多个进程写入或读取消息。 (3)消息队列的声明周期随内核。 (4)消息队列可以实现双向通信。

4.3K20

进程间通信—管道,共享内存,消息队列,信号量

常见的system V结构的通信方式有如下几种:共享内存、消息队列、信号量。管道什么是管道进程间通信层面,对于文件系统有基于文件系统的管道,那么管道是什么呢?...PIPE_BUF时,linux将不再保证写入的原子性管道特征管道的生命周期依托于进程。...消息按顺序插入队列中,其中发送进程将消息添加到队列末尾,接收进程从队列头读取消息。多个进程可同时向一个消息队列发送消息,也可以同时从一个消息队列中接收消息。...发送进程把消息发送到队列尾部,接收进程从消息队列头部读取消息消息一旦被读出就从队列中删除。...消息队列的内核结构实际上操作系统中会有存在很多的消息队列,系统也必须为消息队列维护内核数据结构消息队列的数据结构如下:(注:结构体msqid_ds位于构 /usr/include/linux/msg.h

1.2K00

Linux进程间通信 消息队列

消息队列消息的链接表,存储内核中,由消息标识符标识。 --《UNIX环境高级编程》 简单理解,消息队列就是一堆消息的有序集合,并缓存于内核中。...,其中cmd指进行的操作,buf记录了消息队列的信息。...总结 消息队列在进程间通信的优势总结起来有以下几点: 缓存:数据较大的消息处理起来时间较长,此时将其写入消息队列更快,待系统空闲时再处理。提高系统任务执行效率。...送达:消息队列存储的消息,会一直保留在队列中直到消息被处理,且被取走后就会被队列释放。因此无论多少个进程在获取,每个消息仅会被处理一次。 排序:消息队列中一直按照“先入先出”的顺序来执行。...异步:消息队列因为会缓存消息,且顺序处理不会丢失。因此多个进程可通过消息队列实现异步通信,互不阻塞。

4.4K40

Linux进程通信之消息队列

Linux进程通信之IPC消息队列 首先消息队列是存放消息队列,而队列则是一种先进先出的数据结构。...、msg_stat_queue 具体的相关参数以及介绍,请查看PHP手册及相关文档 PHP手册之IPC 不同进程间消息队列通信 写进程demo21.php //根据一个存在的文件和标识生成消息队列的key...$key = ftok('demo21.php','a'); //创建消息队列 $msgId = msg_get_queue($key); //向消息队列中发送消息 msg_send($msgId...key $key = ftok('demo21.php','a'); //创建消息队列 $msgId = msg_get_queue($key); //接收消息队列消息 msg_receive($msgId...父子进程消息队列通信 假设是子进程接收,父进程发送 $key = ftok('demo23.php','a'); //获取消息队列 $msgId = msg_get_queue($key);

2.6K20

PHP进程通信之管道消息队列(二十三节)

-- 消息队列 这个怕是很多人都听过,不过印象往往停留在kafka、rabbitmq之类的用于业务解耦的网络消息队列软件上。...然而这里的消息队列是说操作系统中内置的一种数据结构,消息队列消息的链接表(一种常见的数据结构),但是这种消息队列存储于系统内核中(不是用户态),一般我们外部程序使用一个key来对消息队列进行读写操作,...这种消息队列的状态是由操作系统来维护的,每个消息队列在操作系统内部都有一个标志符,但是这种标志符是操作系统内部使用的,在外我们使用的则是消息队列的ID或者KEY,而这个ID或KEY的生成方式可以使用ftok...()函数;除此之外,既然这种消息队列是系统维护的,所以理论上只要外界程序知道这个消息队列的ID或KEY,那么跨语言之间也可以通过这个消息队列进行通信,比如使用PHP向消息队列中写入数据,使用Python...语言从消息队列中读取消息

1.4K31

Linux进程间通信之消息队列

一,消息队列 1,概念:“消息队列”是在消息的传输过程中保存消息的容器 2,消息队列就是一个消息的链表。可以把消息看作一个记录,具有特定的格式以及特定的优先级。   ...对消息队列有写权限的进程可以向消息队列中按照一定的规则添加新消息;   对消息队列有读权限的进程则可以从消息队列中读走消息。   消息队列是随内核持续的。...3,编程注意事项:使用时先把数据封装成消息,把消息存入队列 编程步骤: 具体函数的用法可以用man手册查看(强力推荐) (1)ftok()生产key (2)使用msgget( ) 创建/获取消息队列,返回值是队列标识符...(3)使用msgsnd( ) 发送消息     使用msgrcv( ) 接收消息 (4)使用msgctl( ) 删除消息队列 4,实例: sendmsg.c   用来发送消息的 // sendmsg.c...0); printf("类型:%d, 内容:%s\n", msg.mtype, msg.buf); printf("消息接收完成,按回车销毁消息队列\n");

2.8K90

Linux进程间通信——消息队列(一)

今天就聊一聊Linux系统进程之间的通信。...进程间通信根据是否在同一台主机上进行通信可分为无名管道和有名管道(FIFO),消息队列、信号量和共享内存这些都是只能在同一台主机上进行通信的 Socket和Streams(这个没接触过)是可以在不同主机上进行进程通讯的...标识符和Key 每个内核中的IPC结构(消息队列、信号量、共享内存)都用一个非负整数的标识符来进行调用。如,当使用消息队列发送或接收消息队列时,需要知道队列标识符。...例如:如果进程创建 了一个消息队列,并在队列中放入了几条消息,然后进程终止,但是该消息队列及其内容并不会被删除。...当以下情况出现时消息队列才不会继续存在系统中: ①某个进程调用msgrcv或msgctl读取或删除消息队列 ②某个进程执行ipcrm(1)命令删除息队列管道相比,最后一个访问管道的进程结束时,管道就彻底被删除了

2.9K20

Linux进程间通信(二) - 消息队列

消息队列 消息队列Linux IPC中很常用的一种通信方式,它通常用来在不同进程间发送特定格式的消息数据。...消息队列和之前讨论过的管道和FIFO有很大的区别,主要有以下两点(管道请查阅我的另一篇文章:https://cloud.tencent.com/developer/article/1021159): Ø...一个进程向消息队列写入消息之前,并不需要某个进程在该队列上等待该消息的到达,而管道和FIFO是相反的,进程向其中写消息时,管道和FIFO必须已经打开来读,否则写进程就会阻塞(默认情况下)。...管道和FIFO是随进程的持续性,当管道和FIFO最后一次关闭发生时,仍在管道和FIFO中的数据会被丢弃。...消息队列中的每条消息通常具有以下属性: Ø 一个表示优先级的整数; Ø 消息的数据部分的长度; Ø 消息数据本身; 下面我们分别阐述POSIX消息队列和System V消息队列,这2种消息队列目前Linux

6.1K90

Linux 的进程间通信:消息队列

前言 Linux系统给我们提供了一种可以发送格式化数据流的通信手段,这就是消息队列。...而内核给我们提供的消息队列,无疑大大方便了我们的工作。 Linux环境提供了XSI和POSIX两套消息队列,本文将帮助您掌握以下内容: 如何使用XSI消息队列。 如何使用POSIX消息队列。...这套消息队列Linux 2.6.6版本之后开始支持,还需要你的glibc版本必须高于2.3.4。...在Linux上,这个值为32768。默认情况下,消息队列会先按照优先级进行排序,就是msg_prio这个值越大的越先出队列。同一个优先级的消息按照fifo原则处理。.../proc/sys/fs/mqueue/queues_max:系统可以创建的消息队列个数上限。 最后 希望这些内容对大家进一步深入了解Linux消息队列有帮助。

13.2K01

消息队列及常见消息队列介绍

最近组内需要做流水server的选型升级,这里对消息队列及常见的消息队列进行了一次调研,整理了相关资料,分享给大家。...二、消息队列使用场景 消息队列在实际应用中包括如下四个场景: 应用耦合:多应用间通过消息队列对同一消息进行处理,避免调用接口失败导致整个过程失败; 异步处理:多应用对消息队列中同一消息进行处理,应用间并发处理消息...而加入消息队列后,系统可以从消息队列中取数据,相当于消息队列做了一次缓冲。...这三个子系统间由消息队列连接起来,前一个阶段的处理结果放入队列中,后一个阶段从队列中获取消息继续处理。...来从多方面进行扩展,也可以编写自己的插件; 使用RabbitMQ需要: ErLang语言包 RabbitMQ安装包 RabbitMQ可以运行在Erlang语言所支持的平台之上: Solaris BSD Linux

49.3K2714

消息队列(一) MySQL实现消息队列

消息队列(一)MySQL实现消息队列 (原创内容,转载请注明来源,谢谢) 一、概述 消息队列(MessageQueue,通常简称MQ)是一种进程间通信或同一进程的不同线程间的通信方式,是分布式应用间交换信息的一种技术...通过消息队列,应用程序可独立地执行,它们不需要知道彼此的位置、或在继续执行前不需要等待接收程序接收此消息。...消息队列有多种实现方式,可以用关系型数据库(如Mysql)、Nosql(如redis)、现有框架(如rabbitMQ)等。...Mysql处理消息队列的场景:主要是在数据处理量大、耗时久、处理流程繁杂、处理内容多、需要持久化(入库)、业务处理要求相对不实时的场景,如发邮件、发短信、订单后续处理、操作数据记录日志等。...因此,此场景就非常适合于用Mysql解决此消息队列

14.5K41

消息队列探秘 – RabbitMQ 消息队列介绍

Broker: 简单来说就是消息队列服务器实体。 Exchange: 消息交换机,它指定消息按什么规则,路由到哪个队列。 Queue: 消息队列载体,每个消息都会被投入到一个或多个队列。...producer: 消息生产者,就是投递消息的程序。 consumer: 消息消费者,就是接受消息的程序。...Queue Queue(队列)是RabbitMQ的内部对象,用于存储消息,用下图表示。 queue ?...如果我们以其他routingKey发送消息,则消息不会路由到这两个Queue中。...) 服务器端收到消息并处理 服务器端处理完消息后,将生成一条应答消息到replyTo指定的Queue,同时带上correlationId属性 客户端之前已订阅replyTo指定的Queue,从中收到服务器的应答消息

3.4K20

消息队列-腾讯云消息队列 CKafka

腾讯云消息队列 CKafka,分布式、高吞吐量、高可扩展性的消息服务,100%兼容开源 Apache Kafka 0.9 0.10 腾讯云消息队列 CKafka点击查看详情 消息队列 CKafka 简介...消息队列 CKafka(Cloud Kafka)是一个分布式、高吞吐量、高可扩展性的消息系统,100%兼容开源 Kafka API(0.9、0.10版本)。...腾讯云消息队列 CKafka 的特性 兼容开源 100% 兼容 Apache Kafka 0.9 0.10版本,迁移上云0成本。...高可靠 消息队列 CKafka 集群性能强劲,生产性超越开源方案;此外,消息队列 CKafka 分布式的部署,集群稳定性也有很好的保障。...应用场景 日志分析系统 消息队列 CKafka 结合大数据套件 EMR,构建完整的日志分析系统。

5.9K60

消息队列探秘-RabbitMQ消息队列介绍

---- Broker: 简单来说就是消息队列服务器实体。 Exchange: 消息交换机,它指定消息按什么规则,路由到哪个队列。 Queue: 消息队列载体,每个消息都会被投入到一个或多个队列。...producer: 消息生产者,就是投递消息的程序。 consumer: 消息消费者,就是接受消息的程序。...Queue Queue(队列)是RabbitMQ的内部对象,用于存储消息,用下图表示。 queue ?...image.png RabbitMQ中的消息都只能存储在Queue中,生产者(下图中的P)生产消息并最终投递到Queue中,消费者(下图中的C)可以从Queue中获取消息并消费。 ?...如果我们以其他routingKey发送消息,则消息不会路由到这两个Queue中。

3K30
领券