栈(LIFO)是一种表，队列(FIFO)也是一种表。数组是表的一种实现方式，链表也是表的一种实现方式，例如FIFO既可以用数组实现，也可以用链表实现。PacketQueue是用链表实现的一个FIFO。
环形缓冲区(ring buffer)，环形队列(ring queue) 多用于2个线程之间传递数据，是标准的先入先出(FIFO)模型。一般来说，对于多线程共享数据，需要使用mutex来同步，这样共享数据才不至于发生不可预测的修改/读取，然而，mutex的使用也带来了额外的系统开销，ring buffer/queue 的引入，就是为了有效地解决这个问题，因其特殊的结构及算法，可以用于2个线程中共享数据的同步，而且必须遵循1个线程push in，另一线程pull out的原则。
在前面文章《LTE模组可以被VPP直接接管喽！！！》中介绍使用af-packet插件将linux 内核接口映射到vpp中，并通过vpp dhcp client插件实现lte拨号上网的功能，本文主要介绍af packet实现机制，对阅读代码有所帮助。
上一篇《【JUC进阶】11. BlockingQueue》中介绍到ArrayBlockingQueue，在物理上是一个数组，但在逻辑上来说是个环形结构。这就衍生出来我们今天要介绍的主题，环形缓冲区。
在嵌入式系统开发中，与上位机进行串口通信是非常常见的场景。上位机可以通过串口发送指令或者数据给嵌入式设备，而嵌入式设备需要可靠地接收并解析这些数据，以执行相应的操作。然而，在串口通信过程中，上位机发送数据的速率往往与嵌入式设备接收和处理数据的速率不一致，这就可能导致数据的丢失或者误解析。
大家好，我是小涂，昨天晚上给大家进行了一场直播，这次直播内容主要分享了一些自己的学习方法和一些简单的理财分享，中途又再次出现了一次意外，原本是在b站上来进行直播的，后面有回音，影响直播效果，所以就备战到视频号了，后期直播就在视频号进行了,同时如果下次有直播会提前通知大家：
上一篇文章 主要分析了 Linux 原生 AIO 的原理和使用，而这篇要介绍的是 Linux 原生 AIO 的实现过程。
处于安全的考虑，不同进程之间的内存空间是相互隔离的，也就是说 进程A 是不能访问 进程B 的内存空间，反之亦然。如果不同进程间能够相互访问和修改对方的内存，那么当前进程的内存就有可能被其他进程非法修改，从而导致安全隐患。
PF_RING针对libpcap的改进方法：将网卡接收到的数据包存储在一个环状缓存中，这个环状缓存有两个接口，一个供网卡向其中写数据，另一个为应用层程序提供读取数据包的接口，从而减少了内存的拷贝次数，若将收到的数据包分发给多个环形缓冲区则可以实现多线程应用程序的读取。
队列 (Queue)：是一种先进先出(First In First Out ,简称 FIFO)的线性表，只允许在一端插入（入队），在另一端进行删除（出队）。
环形缓冲区通常有一个读指针和一个写指针（一个入指针和一个出指针）。读指针指向环形缓冲区中可读的数据，写指针指向环形缓冲区中可写的缓冲区。通过移动读指针和写指针就可以实现缓冲区的数据读取和写入。在通常情况下，环形缓冲区的读用户仅仅会影响读指针，而写用户仅仅会影响写指针。如果仅仅有一个读用户和一个写用户，那么不需要添加互斥保护机制就可以保证数据的正确性。如果有多个读写用户访问环形缓冲区，那么必须添加互斥保护机制来确保多个用户互斥访问环形缓冲区
感觉目前看到介绍 io_uring 的文章还是比较少，大部分都集中在对其原理性的介绍和简单的对官方文档的翻译，真正结合实际的例子还是比较少。本文翻译整理自一篇博客：
内核环形缓冲区是物理内存的一部分，用于保存内核的日志消息。它具有固定的大小，这意味着一旦缓冲区已满，较旧的日志记录将被覆盖。
环形缓冲区(也称为循环缓冲区)是固定大小的缓冲区，工作原理就像内存是连续的且可循环的一样。在生成和使用内存时，不需将原来的数据全部重新清理掉，只要调整head/tail 指针即可。当添加数据时，head 指针前进。当使用数据时，tail 指针向前移动。当到达缓冲区的尾部时，指针又回到缓冲区的起始位置。
生产者消费者模式是通过一个容器来解决生产者和消费者的强耦合问题。生产者和消费者彼此之间不直接通讯，而通过阻塞队列来进行通讯，所以生产者生产完数据之后不用等待消费者处理，直接扔给阻塞队列，消费者不找生产者要数据，而是直接从阻塞队列里取，阻塞队列就相当于一个缓冲区，平衡了生产者和消费者的处理能力。
shuffle中环形缓冲区使用于map shuffle阶段存放map的缓存数据，当缓冲区的数据达到一定比率（80%）就会将缓冲区的数据刷写到磁盘文件中，在刷盘之前，会对数据分区、排序、合并，对缓冲区的操作是边写入边读取的过程，二者互不影响，提升写入的速率，读写过程就是一个生产者、消费者模式，生产者向环形缓冲区中写入数据，消费者从环形缓冲区中读取数据并且写入磁盘。环形缓冲区在物理上是一组连续的空间地址，在逻辑上是首尾相连的环形空间，通过使用下标实现环形，初始read=write=index=0,read下一个读取位置，write下一次写入位置，index 刷盘的结束位置，每一次写入write++,当缓存达到一定比率，执行读取线程开启，将index=write,那么将读取read~index-1区间的数据写入磁盘，此时write继续接受数据写入，当数据读取完read=index,继续进行下一次读取操作，需要注意当下标达到临界点即缓冲区数组的大小时需要进行下标索引的转换，例如当read=array.length,需要read=0。
本期给大家带来的开源项目是 ringbuff ，一款通用FIFO环形缓冲区实现的开源库，作者MaJerle，目前收获 79 个 star，遵循 MIT 开源许可协议。
在事件处理层(evdev.c)中结构体evdev_client定义了一个环形缓冲区(circular buffer)，其原理是用数组的方式实现了一个先进先出的循环队列(circular queue)，用以缓存内核驱动上报给用户层的input_event事件。 struct evdev_client { unsigned int head; // 头指针 unsigned int tail; // 尾指针 unsign
dmesg 命令用于检查和控制内核的环形缓冲区。Kernel 会将开机信息存储在 ring buffer 中，我们可以从中获得诸如系统架构、CPU、挂载的硬件，RAM 等多个运行级别的大量的系统信息。可利用 dmesg 来查看系统的启动信息。开机信息也会保存在 /var/log/dmesg。
1、Buffer由数组BufferDescriptor[]数组进行管理。该数组由函数InitBufferPool创建，大小为NBuffers个成员即BufferDesc。该数组创建后由StrategyControl进行管理，firstFreeBuffer为链表头，指向链表第一个成员；lastFreeBuffer指向链表尾；所有free list中成员由freeNext串起来，该值为数组下标。
消息队列是实现简单消息队列的内核对象，允许线程和ISR异步发送和接收固定大小的数据项。
上面的代码，使用宏开关：要么再用裸机的代码，要么调用rt-thread的代码，要么调用Linux的代码。
在上一个阶段——HDFS,小菌出过一期HDFS的经典面试题,不知道小伙伴们掌握的怎么样吖(详情见–>《HDFS经典面试题》),本期同样在MapReduce快要结束阶段为大家带来MapReduce的经典面试题!
本专栏由Mculover666创建，主要内容为寻找嵌入式领域内的优质开源项目，一是帮助开发者使用开源项目实现更多的功能，二是通过这些开源项目，学习大佬的代码及背后的实现思想，提升自己的代码水平，和其它专栏相比，本专栏的优势在于：
前言 在前文iOS近距离实时通信解决方案的基础上对MultipeerConnectivity深入研究，实现实时合唱的效果，重点介绍MultipeerConnectivity框架相关的问题。 正文 合唱功能使用流程： 1、选择歌曲，选择合唱模式，下载伴奏； 2、选择合唱身份，发起者等待连接，加入者，选择附近的合唱加入； 3、连接建立，录歌同步启动，开始合唱。 表达为技术上的流程： 第一步，建立连接。由手机A发起广播，手机B搜索广播并选择对应的设备建立连接。 第二步，建立数据流通道。手机A创建数据流的
写完这篇文章想着以后尽量(应该说一定)使用现在正在使用的LPC系列的单片机写程序,其实内心感觉还是LPC做的相当完善,,,,,配置上没有32那么的繁琐.... 关于串口发送数据,自己以前呢是这样 void Usart_Out_Char(unsigned char *c,uint32_t cnt) { while(cnt--) { USART_SendData(USART1, *c++); while(USART_GetFlagStatus(USART1, USART_FLA
大家有没有听过音叉发出的声音？音叉振动产生的声波很接近正弦波。计算机合成的纯正正弦波，点击下面的音频即可试听。下面是频率为 100 HZ 的音频。
环形缓冲区通常有一个读指针和一个写指针。读指针指向环形缓冲区中可读的数据，写指针指向环形缓冲区中可写的缓冲区。通过移动读指针和写指针就可以实现缓冲区的数据读取和写入。在通常情况下，环形缓冲区的读用户仅仅会影响读指针，而写用户仅仅会影响写指针。如果仅仅有一个读用户和一个写用户，那么不需要添加互斥保护机制就可以保证数据的正确性。如果有多个读写用户访问环形缓冲区，那么必须添加互斥保护机制来确保多个用户互斥访问环形缓冲区。
用数学表达式就这样：w = (w+1) % len，即w = (6+1) %7 = 0
Map的输出到内存 Map将数据传入环形缓冲区，默认100MB 可修改，环形缓冲区中的数据到达一定的阈值时，默认0.8 可修改，进行溢写生成好多临时文件，多个临时文件到达10个（可以调整）merge合并成一个大文件。 Reduce数据读取 reduce会主动去发起拷贝线程到maptask获取属于自己的数据，数据会进入ReduceTask中的环形缓冲区，当缓冲区中的数据量到达 一定阈值进行溢写，多个临时文件merge合并成一个大文件，最后输入到Reduce。
idletask->hook->flagIdleTaskrun=1, 礼让，轮到task1运行，
原版Marlin固件硬件平台基于arduino，采用C++类对串口操作函数函数进行了封装，代码注释中介绍了这些函数的功能。MarlinSerial.h文件中类的定义，此处的类只保留的框架结构，留存的这些函数基本上是要一直到STM32平台要实现的函数。
1.MapReduce核心思想 分而治之，先分后和（只有一个模型） 【将一个大的、复杂的工作或任务，拆分成多个小的任务，并行处理，最终进行合并。适用于大量复杂的、时效性不高的任务处理场景（大规模离线数据处理场景）。】 Map负责数据拆分 map: [k1,v1] → [(k2,v2)] Reduce负责数据合并 reduce: [k2, {v2,…}] → [k3, v3]
接下来还有很多大数据组件的灵魂拷问 准备好了吗？各位小伙伴们！！！ 咱们下期再见！
Disruptor 是英国外汇交易公司 LMAX 开发的一个高性能队列。很多知名开源项目，比如 canal 、log4j2、storm 都是用了 Disruptor 以提升系统性能 。
在上章34.Linux-printk分析、使用printk调试驱动里讲述了: printk()会将打印信息存在内核的环形缓冲区log_buf[]里, 可以通过dmesg命令来查看log_buf[]
当初在开发的时候，发现DragonOS存在一些内存泄漏的问题，但是不清楚到底哪里产生了泄漏，也不清楚内核的内存分配过程。为了定位内存泄漏的问题，以及观测一些可能存在的性能问题，就实现了这个MMLog的组件，把每一次内存分配和释放都打到日志里面去，同时希望能在Linux下面启动一个监视器，去监控DragonOS虚拟机内的内存分配情况。
本系列为 CMU 15-445 Fall 2022 Database Systems 数据库系统 [卡内基梅隆] 课程重点知识点摘录，附加个人拙见，同样借助CMU 15-445课程内容来完成MIT 6.830 lab内容。
简单概述：inputFile通过split被逻辑切分为多个split文件，通过Record按行读取内容给 map（用户自己实现的）进行处理，数据被map处理结束之后交给OutputCollector收集 器，对其结果key进行分区（默认使用hash分区），然后写入buffer，每个map task都有 一个内存缓冲区，存储着map的输出结果，当缓冲区快满的时候需要将缓冲区的数据以一 个临时文件的方式存放到磁盘，当整个map task结束后再对磁盘中这个map task产生的所 有临时文件做合并，生成最终的正式输出文件，然后等待reduce task来拉数据
大家好，我是道哥，今天我为大伙儿解说的技术知识点是：【在多线程环境下，如何实现一个高效的日志系统】。
我们先从计算机组成原理的层面介绍DMA，再简单介绍Linux网络子系统的DMA机制是如何的实现的。
在之前的博客中,小菌为大家分享了MapReduce的整体流程。这篇博客,主要针对MapTask与ReduceTask运行机制的一个详解与MapReduce总体运行机制做一个较为详细的介绍!
关于POLARDB 的数据存储部分的论文翻译还在继续，此为第四部分，与IO 的实现有关_________________________________________________________________
简单概述：inputFile通过split被逻辑切分为多个split文件，通过Record按行读取内容给map（用户自己实现的）进行处理，数据被map处理结束之后交给OutputCollector收集器，对其结果key进行分区（默认使用hash分区），然后写入buffer，每个map task都有一个内存缓冲区，存储着map的输出结果，当缓冲区快满的时候需要将缓冲区的数据以一个临时文件的方式存放到磁盘，当整个map task结束后再对磁盘中这个map task产生的所有临时文件做合并，生成最终的正式输出文件，然后等待reduce task来拉数据。
最近常收到SOD框架的朋友报告的SOD的SQL日志功能报错：文件句柄丢失。经过分析得知，这些朋友使用SOD框架开发了访问量比较大的系统，由于忘记关闭SQL日志功能所以出现了很高频率的日志写入操作，从而偶然引起错误。后来我建议只记录出错的或者执行时间较长的SQL信息，暂时解决了此问题。但是作为一个热心造轮子的人，一定要看看能不能造一个更好的轮子出来。 前面说的错误原因已经很直白了，就是频繁的日志写入导致的，那么解决方案就是将多次写入操作合并成一次写入操作，并且采用异步写入方式。要保存多次操作的内容就要有一个类
最近常收到SOD框架的朋友报告的SOD的SQL日志功能报错：文件句柄丢失。经过分析得知，这些朋友使用SOD框架开发了访问量比较大的系统，由于忘记关闭SQL日志功能所以出现了很高频率的日志写入操作，从而偶然引起错误。后来我建议只记录出错的或者执行时间较长的SQL信息，暂时解决了此问题。但是作为一个热心造轮子的人，一定要看看能不能造一个更好的轮子出来。
Disruptor 是英国外汇交易公司 LMAX 开发的一个高性能队列。很多知名开源项目里，比如 canal 、log4j2、 storm 都是用了 Disruptor 以提升系统性能 。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
