我们称这些文件为数据段。...大量零碎的数据段有两个明显缺点： 不利于元数据管理，对 SQLite/MySQL 的访问频繁 索引过于分散，影响查询的性能 因此 Milvus 后台落盘任务会不断地把这些小数据段合并成大数据段，直到合并后的数据段大小超过...| 旧版本合并机制的缺点 在 0.9.0 版本以前，数据段的合并策略是简单粗暴的：先从元数据拿到一批需要被合并的数据段，然后循环遍历合并。如下图所示： ? 假设拿到 7 个数据段： 1....合并完成后将前六个数据段标记为软删除，最终剩下三个数据段：segment_7，segment_8，segment_9。 这种合并机制有一个很大的缺点：占用过多的磁盘空间。...当数据段被标记为软删除后，并不会立刻从磁盘中清理掉，而是会保留一段时间，直到后台清理线程将其硬删除，才会被清理掉。因此，在某些特定场景下，这种合并机制会造成巨大的磁盘空间浪费。
段的引入是解决“ 地址总线的宽度一般要大于寄存器的宽度 ”这个问题。...实模式： 是 段地址+偏移量 的方式，得到物理地址，进而寻址。...保护模式： 不允许通过段寄存器取值得到段的起始地址，而是把虚拟地址转进一个 MMU 的硬件，经过额外的转换和检查，进而得到一个物理地址。...段机制抛开了实际物理内存的大小，从抽象层面提供给开发人员更大的线性空间进行程序开发。但物理内存如果不足时的情况仍需解决。 它通过将 物理内存空间 和 线性地址空间 分成若干相等的页。...正如你将会看到的，这种机制十分巧妙又实用。
Linux中的段 Intel 微处理器的段机制是从8086 开始提出的， 那时引入的段机制解决了从CPU 内部 16 位地址到20 位实地址的转换。...为了保持这种兼容性，386 仍然使用段机制，但比以前复杂。 因此，Linux 内核的设计并没有全部采用Intel 所提供的段方案，仅仅有限度地使用 了一下分段机制。...这不仅简化了Linux 内核的设计，而且为把Linux 移植到其他平台创造了 条件，因为很多RISC 处理器并不支持段机制。但是，对段机制相关知识的了解是进入Linux 内核的必经之路。...看来，Linux 巧妙地把段机制给绕过去了， 而完全利用了分页机制。 从逻辑上说，Linux 巧妙地绕过了逻辑地址到线性地址的映射，但实质上还得应付Intel 所提供的段机制。...另外arm处理器的内存管理也没有段机制，直接就是页机制。 参考 linux-segment
从Linux 2.4版本开始，操作系统底层提供了scatter/gather这种DMA的方式来从内核空间缓冲区中将数据直接读取到协议引擎中，而无需将内核空间缓冲区中的数据再拷贝一份到内核空间socket...参考： 浅谈 Linux下的零拷贝机制 TCP TCP的TIME_WAIT有两个作用： 防止前一个TCP连接的残留数据(在序列号恰好正确的情况下)进入后续的TCP连接中 防止TCP挥手过程发出去的最后一个...Linux实现了大量QDisc来满足各个QDisc对应的的报文队列和行为。该接口允许QDisc可以在没有IP栈和NIC驱动修改的前提下实现队列管理。...TCP rtt和rto TCP拥塞避免算法，目前主流Linux的默认拥塞避免算法为cubic，可以使用ss -i命令查看。...可以看到reno算法在发生拥塞避免时不会将cwnd变为1，这样提高了传输效率，快速重传和快速恢复机制也有利于更快探测到拥塞。 ?
Linux下的程序的文件格式是ELF，里面分了各种段，有代码段、数据段、等。当运行这个程序时，系统也会给这个进程创建虚拟内存，然后把ELF中的数据分别加载到内存中的对应位置。...本文整理了用cpp程序读取内存中的代码段和rodata数据段的方法。...这个文件的前三列分别是代码段、rodata数据段、和普通数据段，可以看到代码段的权限是读和执行，rodata数据段是只读，普通数据段可读写。...用程序读取内存的代码段和rodata数据段 以tcpdump程序为例，用程序读取代码段和radata的过程如下： 1.查看tcpdump的进程ID。...2.运行自己写的程序，分别输入进程PID和代码段的地址。
RELRO（RELocation Read Only） 在Linux中有两种RELRO模式：Partial RELRO 和 Full RELRO。Linux中Partical RELRO默认开启。...内数据段（internal data sections）（如.got，.dtors等）置于程序数据段（program’s data sections）（如.data和.bss）之前； 无 plt 指向的...最后算出要跳的函数地址） NOP喷射（DEP没开的情况下，创建一大块NOP+shellcode，Heap Spray是在shellcode的前面加上大量的slide code（滑板指令），组成一个注入代码段。...然后向系统申请大量内存，并且反复用注入代码段来填充。这样就使得进程的地址空间被大量的注入代码所占据。然后结合其他的漏洞攻击技术控制程序流，使得程序执行到堆上，最终将导致shellcode的执行。
缓存机制：Linux引入了buffers和 cached机制，buffers与cached都是内存操作，用来保存系统曾经打开过的文件以及文件元数据，这样当操作系统需要读取某些文件时，首先在buffers...共享内存段也被视为缓存，尽管它们不代表磁盘上的任何数据。...可以使用ipcs -m命令并检查bytes列来检查共享内存段的大小。...根据Linux虚拟内存管理机制，这种行为是正常的。要理解为什么缓存会变得如此之高，以及为什么这不是一个问题，就必须了解I/O在Linux上是如何工作的。...从Linux缓存机制来说，buffers和cached都是系统可用内存，通常情况下看到bufferes和cached占用内存多，这是一个正常现象，它不是一个问题，所以在看到物理内存快要耗尽时，不要惊慌，
那么对于 《Linux 从头学》这个系列的文章来说，我是希望自己能够把学习路线再拉长一些，从更底层的硬件机制、驱动原理开始，由简入繁，一步一步最终把 Linux 操作系统这个块硬骨头给啃下来。...几个重要的段寄存器 在 x86 系统中，段寻址机制以及相关的寄存器是如此的重要，以至于我忍不住在这里，把几个段寄存器再小结一下。 ?...Linux 之所以要这样安排，是因为它不想过多的利用 x86 提供的段机制来进行内存地址的管理，而是想充分利用分页机制来进行更加灵活的地址管理。...还有一点需要提醒一下： 在上述描述的文字中，我都会标明一个机制或者策略，它是由 x86 平台提供的，还是由 Linux 操作系统提供的。...对于分页机制也是如此，x86 硬件提供了分页机制，但是 Linux 在 x86 提供的这个分页机制的基础上，进行了扩展，以达到更加灵活的内存地址管理目的。
在这里总结一下它的内部机制。也解决一下自己原来的一些疑惑。 Namespace是什么 C++中的Namespace 首先，先提一下Namespace是什么。最早知道这个名词是在学习C++语言的时候。...Linux的Namespasce Linux Namespaces是一种轻量级的虚拟化形式。操作系统在内存，CPU上，已经使用了虚拟化的技术，让每个进程都认为是自己独占了内存和CPU。...Linux Namespace原理 对于内核来说，进程是由task_struct结构体来控制。所以Namespace肯定会和task_struct有关联。...参考 Linux内核的namespace机制分析 Namespaces in operation, part 1: namespaces overview Docker基础技术：Linux Namespace...（上） Docker基础技术：Linux Namespace（下）
作者简介：中年码农，做过电信、手机、安全、芯片等行业，靠Linux混饭吃。...和用户态程序的 coredump 机制类似。...下面就来详细的分析整个 kdump 机制的详细原理。...在现在的 ubuntu 中只需要安装一个 linux-crashdump 软件包就自动帮你搞定： sudo apt-get install linux-crashdump 安装完后，可以通过 kdump-config...所以可以看到 /proc/kcore 和 /proc/vmcore 这两个文件是整个机制的核心，我们重点分析这两部分的实现。
在linux 没有实现epoll事件驱动机制之前，我们一般选择用select或者poll等IO多路复用的方法来实现并发服务程序。在linux新的内核中，有了一种替换它的机制，就是epoll。...epoll IO多路复用模型实现机制 由于epoll的实现机制与select/poll机制完全不同，上面所说的 select的缺点在epoll上不复存在。...epoll实现机制 当某一进程调用epoll_create方法时，Linux内核会创建一个eventpoll结构体，这个结构体中有两个成员与epoll的使用方式密切相关。...通过红黑树和双链表数据结构，并结合回调机制，造就了epoll的高效。...总结 以上就是本文关于linux epoll机制详解的全部内容，希望对大家有所帮助。感兴趣的朋友可以继续参阅本站其他相关专题，如有不足之处，欢迎留言指出。感谢朋友们对本站的支持！
1、简介： RCU（Read-Copy Update）是数据同步的一种方式，在当前的Linux内核中发挥着重要的作用。...RCU主要针对的数据对象是链表，目的是提高遍历读取数据的效率，为了达到目的使用RCU机制读取数据的时候不对链表进行耗时的加锁操作。...3、相应资料： Linux内核源码当中,关于RCU的文档比较齐全，你可以在 /Documentation/RCU/ 目录下找到这些文件。 Paul E....为此RCU机制提供了相应的API来实现这个功能。...可以通过优化屏障来解决该问题，RCU机制对优化屏障做了包装，提供了专用的API来解决该问题。
/a.out bt 4.开发板上使用core文件调试 ----------------------------- 如果开发板的操作系统也是linux，core调试方法依然适用。...如果开发板上不支持gdb，可将开发板的环境（依赖库）、可执行文件和core文件拷贝到PC的linux下。
OOM分析 oom_killer（out of memory killer）是Linux内核的一种内存管理机制，在系统可用内存较少的情况下，内核为保证系统还能够继续运行下去，会选择杀掉一些进程释放掉一些内存
1 页式管理 1.1 分段机制存在的问题 分段，是指将程序所需要的内存空间大小的虚拟空间，通过映射机制映射到某个物理地址空间(映射的操作由硬件完成)。...但是Linux并没有采用这种机制 正如前面所述，通过设置页目录项的Page Size标志启用扩展分页功能。在这种情况下，分页单元把32位线性地址分成两个字段： Directory：最高10位。...若这个标志为0，只有当CPL小于3(这意味着对于Linux而言，处理器处于内核态)时才能对页寻址；若该标志为1，则总能对页寻址。...此外，与段的3种存取权限(读，写，执行)不同的是，页的存取权限只有两种(读，写)。如果页目录项或页表项的Read/Write标志等于0，说明相应的页表或页是只读的，否则是可读写的。...第9~11位由操作系统专用，Linux也没有做特殊之用。 ? 80386的每个页目录项指向一个页表，页表最多含有1024个页面项，每项4个字节，包含页面的起始地址和有关该页面的信息。
上一篇文章写到中断机制，采用了等待队列的方式实现了按键中断。但是你会发现，应用程序在读取按键值的时，当没有按键按下，则一直处于睡眠态。无法继续往下执行。...poll机制的解析：其中poll（）函数和select（）函数的功能同等。...代码实现： 基本是在上一篇文章《中断机制》的代码实现中修改一些内容。 驱动代码：增加poll的方法。
这篇文章以按键为例子讲解linux的中断原理，中断的架构，中断的实现。 在我们的开发中，检测按键是否触发，无非就两种方法—轮询和中断。作者认为两种方法最大的区别就是CPU的利用率。...Linux的中断原理： 中断：处理器异常的一种，它是一种特殊的电信号，用硬件发给处理器，处理器接收到中断后，会马上向操作系统反映此信号的到来，然后就由操作系统负责处理这些新到来的数据。...Linux中断的相关函数： 1、注册中断函数： 中断处理函数结构： typedef irqreturn_t (*irq_handler_t)(int, void*); 注册中断函数：int request_irq...dev：与request_irq的参数dev必须一致，将request_irq指定的dev传递给这个参数； Linux中断处理分析： 第一种方式：应用层的读，不管什么情况下，都会返回。...Linux中断实现： 这里例子采用等待队列的方式实现（也就是上述的第二种方法）。
按照章文嵩对Julian的描述的说法，Julian写程序非常厉害，但也很神秘，两个人一直通过邮件联系，即便时间已经过去二十多年，两人至今仍然没见过面，却始终维持着一段基于开源信仰的珍贵友谊。...他也不是凡人，而是Linux中文化最积极的推动者，也是水木清华BBS的 Linux斑竹（即版主），名叫方汉。...年轻的方汉很喜欢玩这个游戏，喜欢到自己上手研发，因此开始自学Linux架服务器。结果他发现Linux比MUD还好玩，兴趣自然转向了Linux。...为了专注研究Linux中文化，方汉当时还有了一个小团队，成员包括他高能物理所的两个师兄陈向阳、于明俭。 他们一起解决了很多Linux中文化的问题，在圈内一时有了“中文Linux三剑客”的名头。...魏永明带着几个研究生基于Linux重新设计了数控系统的架构，并利用业余时间为Linux系统重写MiniGUI。 在Linux上重写后的MiniGUI功能更丰富，用户体验更好。
1 linux的分页机制 1.1 四级分页机制 前面我们提到Linux内核仅使用了较少的分段机制，但是却对分页机制的依赖性很强，其使用一种适合32位和64位结构的通用分页模型，该模型使用四级分页机制，即...1.2 不同架构的分页机制 对于不同的体系结构，Linux采用的四级页表目录的大小有所不同：对于i386而言，仅采用二级页表，即页上层目录和页中层目录长度为0；对于启用PAE的i386，采用了三级页表...Linux 的页全局目录对应80x86 的页目录指针表（PDPT），取消了页上级目录，页中间目录对应80x86的页目录，Linux的页表对应80x86的页表。...1.3 为什么linux热衷：分页>分段 那么，为什么Linux是如此地热衷使用分页技术而对分段机制表现得那么地冷淡呢，因为Linux的进程处理很大程度上依赖于分页。...这就是虚拟内存机制的基本要素。 每一个进程有它自己的页全局目录和自己的页表集。
关于同步理论的一些基本概念 临界区（critical area）: 访问或操作共享数据的代码段 简单理解：synchronized大括号中部分（原子性） 竞争条件（race conditions）两个线程同时拥有临界区的执行权...上锁解锁必须具备原子性 原子性（象原子一样不可分割的操作） 有序性（禁止指令重排） 可见性（一个线程内的修改，另一个线程可见） 内核同步常用方法 原子操作 – 内核中类似于AtomicXXX，位于<linux...二值信号量） 完成变量 – 特殊的信号量（A发出信号给B，B等待在完成变量上） vfork() 在子进程结束时通过完成变量叫醒父进程 类似于(Latch) BKL：大内核锁（早期，现在已经不用） 顺序锁（linux
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
