我们称这些文件为数据段。...大量零碎的数据段有两个明显缺点: 不利于元数据管理,对 SQLite/MySQL 的访问频繁 索引过于分散,影响查询的性能 因此 Milvus 后台落盘任务会不断地把这些小数据段合并成大数据段,直到合并后的数据段大小超过...| 旧版本合并机制的缺点 在 0.9.0 版本以前,数据段的合并策略是简单粗暴的:先从元数据拿到一批需要被合并的数据段,然后循环遍历合并。如下图所示: ? 假设拿到 7 个数据段: 1....合并完成后将前六个数据段标记为软删除,最终剩下三个数据段:segment_7,segment_8,segment_9。 这种合并机制有一个很大的缺点:占用过多的磁盘空间。...当数据段被标记为软删除后,并不会立刻从磁盘中清理掉,而是会保留一段时间,直到后台清理线程将其硬删除,才会被清理掉。因此,在某些特定场景下,这种合并机制会造成巨大的磁盘空间浪费。
段的引入是解决“ 地址总线的宽度一般要大于寄存器的宽度 ”这个问题。...实模式: 是 段地址+偏移量 的方式,得到物理地址,进而寻址。...保护模式: 不允许通过段寄存器取值得到段的起始地址,而是把虚拟地址转进一个 MMU 的硬件,经过额外的转换和检查,进而得到一个物理地址。...段机制抛开了实际物理内存的大小,从抽象层面提供给开发人员更大的线性空间进行程序开发。但物理内存如果不足时的情况仍需解决。 它通过将 物理内存空间 和 线性地址空间 分成若干相等的页。...正如你将会看到的,这种机制十分巧妙又实用。
Linux中的段 Intel 微处理器的段机制是从8086 开始提出的, 那时引入的段机制解决了从CPU 内部 16 位地址到20 位实地址的转换。...为了保持这种兼容性,386 仍然使用段机制,但比以前复杂。 因此,Linux 内核的设计并没有全部采用Intel 所提供的段方案,仅仅有限度地使用 了一下分段机制。...这不仅简化了Linux 内核的设计,而且为把Linux 移植到其他平台创造了 条件,因为很多RISC 处理器并不支持段机制。但是,对段机制相关知识的了解是进入Linux 内核的必经之路。...看来,Linux 巧妙地把段机制给绕过去了, 而完全利用了分页机制。 从逻辑上说,Linux 巧妙地绕过了逻辑地址到线性地址的映射,但实质上还得应付Intel 所提供的段机制。...另外arm处理器的内存管理也没有段机制,直接就是页机制。 参考 linux-segment
从Linux 2.4版本开始,操作系统底层提供了scatter/gather这种DMA的方式来从内核空间缓冲区中将数据直接读取到协议引擎中,而无需将内核空间缓冲区中的数据再拷贝一份到内核空间socket...参考: 浅谈 Linux下的零拷贝机制 TCP TCP的TIME_WAIT有两个作用: 防止前一个TCP连接的残留数据(在序列号恰好正确的情况下)进入后续的TCP连接中 防止TCP挥手过程发出去的最后一个...Linux实现了大量QDisc来满足各个QDisc对应的的报文队列和行为。该接口允许QDisc可以在没有IP栈和NIC驱动修改的前提下实现队列管理。...TCP rtt和rto TCP拥塞避免算法,目前主流Linux的默认拥塞避免算法为cubic,可以使用ss -i命令查看。...可以看到reno算法在发生拥塞避免时不会将cwnd变为1,这样提高了传输效率,快速重传和快速恢复机制也有利于更快探测到拥塞。 ?
Linux下的程序的文件格式是ELF,里面分了各种段,有代码段、数据段、等。当运行这个程序时,系统也会给这个进程创建虚拟内存,然后把ELF中的数据分别加载到内存中的对应位置。...本文整理了用cpp程序读取内存中的代码段和rodata数据段的方法。...这个文件的前三列分别是代码段、rodata数据段、和普通数据段,可以看到代码段的权限是读和执行,rodata数据段是只读,普通数据段可读写。...用程序读取内存的代码段和rodata数据段 以tcpdump程序为例,用程序读取代码段和radata的过程如下: 1.查看tcpdump的进程ID。...2.运行自己写的程序,分别输入进程PID和代码段的地址。
RELRO(RELocation Read Only) 在Linux中有两种RELRO模式:Partial RELRO 和 Full RELRO。Linux中Partical RELRO默认开启。...内数据段(internal data sections)(如.got,.dtors等)置于程序数据段(program’s data sections)(如.data和.bss)之前; 无 plt 指向的...最后算出要跳的函数地址) NOP喷射(DEP没开的情况下,创建一大块NOP+shellcode,Heap Spray是在shellcode的前面加上大量的slide code(滑板指令),组成一个注入代码段。...然后向系统申请大量内存,并且反复用注入代码段来填充。这样就使得进程的地址空间被大量的注入代码所占据。然后结合其他的漏洞攻击技术控制程序流,使得程序执行到堆上,最终将导致shellcode的执行。
那么对于 《Linux 从头学》这个系列的文章来说,我是希望自己能够把学习路线再拉长一些,从更底层的硬件机制、驱动原理开始,由简入繁,一步一步最终把 Linux 操作系统这个块硬骨头给啃下来。...几个重要的段寄存器 在 x86 系统中,段寻址机制以及相关的寄存器是如此的重要,以至于我忍不住在这里,把几个段寄存器再小结一下。 ?...Linux 之所以要这样安排,是因为它不想过多的利用 x86 提供的段机制来进行内存地址的管理,而是想充分利用分页机制来进行更加灵活的地址管理。...还有一点需要提醒一下: 在上述描述的文字中,我都会标明一个机制或者策略,它是由 x86 平台提供的,还是由 Linux 操作系统提供的。...对于分页机制也是如此,x86 硬件提供了分页机制,但是 Linux 在 x86 提供的这个分页机制的基础上,进行了扩展,以达到更加灵活的内存地址管理目的。
缓存机制:Linux引入了buffers和 cached机制,buffers与cached都是内存操作,用来保存系统曾经打开过的文件以及文件元数据,这样当操作系统需要读取某些文件时,首先在buffers...共享内存段也被视为缓存,尽管它们不代表磁盘上的任何数据。...可以使用ipcs -m命令并检查bytes列来检查共享内存段的大小。...根据Linux虚拟内存管理机制,这种行为是正常的。要理解为什么缓存会变得如此之高,以及为什么这不是一个问题,就必须了解I/O在Linux上是如何工作的。...从Linux缓存机制来说,buffers和cached都是系统可用内存,通常情况下看到bufferes和cached占用内存多,这是一个正常现象,它不是一个问题,所以在看到物理内存快要耗尽时,不要惊慌,
在这里总结一下它的内部机制。也解决一下自己原来的一些疑惑。 Namespace是什么 C++中的Namespace 首先,先提一下Namespace是什么。最早知道这个名词是在学习C++语言的时候。...Linux的Namespasce Linux Namespaces是一种轻量级的虚拟化形式。操作系统在内存,CPU上,已经使用了虚拟化的技术,让每个进程都认为是自己独占了内存和CPU。...Linux Namespace原理 对于内核来说,进程是由task_struct结构体来控制。所以Namespace肯定会和task_struct有关联。...参考 Linux内核的namespace机制分析 Namespaces in operation, part 1: namespaces overview Docker基础技术:Linux Namespace...(上) Docker基础技术:Linux Namespace(下)
作者简介:中年码农,做过电信、手机、安全、芯片等行业,靠Linux混饭吃。...和用户态程序的 coredump 机制类似。...下面就来详细的分析整个 kdump 机制的详细原理。...在现在的 ubuntu 中只需要安装一个 linux-crashdump 软件包就自动帮你搞定: sudo apt-get install linux-crashdump 安装完后,可以通过 kdump-config...所以可以看到 /proc/kcore 和 /proc/vmcore 这两个文件是整个机制的核心,我们重点分析这两部分的实现。
在linux 没有实现epoll事件驱动机制之前,我们一般选择用select或者poll等IO多路复用的方法来实现并发服务程序。在linux新的内核中,有了一种替换它的机制,就是epoll。...epoll IO多路复用模型实现机制 由于epoll的实现机制与select/poll机制完全不同,上面所说的 select的缺点在epoll上不复存在。...epoll实现机制 当某一进程调用epoll_create方法时,Linux内核会创建一个eventpoll结构体,这个结构体中有两个成员与epoll的使用方式密切相关。...通过红黑树和双链表数据结构,并结合回调机制,造就了epoll的高效。...总结 以上就是本文关于linux epoll机制详解的全部内容,希望对大家有所帮助。感兴趣的朋友可以继续参阅本站其他相关专题,如有不足之处,欢迎留言指出。感谢朋友们对本站的支持!
1、简介: RCU(Read-Copy Update)是数据同步的一种方式,在当前的Linux内核中发挥着重要的作用。...RCU主要针对的数据对象是链表,目的是提高遍历读取数据的效率,为了达到目的使用RCU机制读取数据的时候不对链表进行耗时的加锁操作。...3、相应资料: Linux内核源码当中,关于RCU的文档比较齐全,你可以在 /Documentation/RCU/ 目录下找到这些文件。 Paul E....为此RCU机制提供了相应的API来实现这个功能。...可以通过优化屏障来解决该问题,RCU机制对优化屏障做了包装,提供了专用的API来解决该问题。
/a.out bt 4.开发板上使用core文件调试 ----------------------------- 如果开发板的操作系统也是linux,core调试方法依然适用。...如果开发板上不支持gdb,可将开发板的环境(依赖库)、可执行文件和core文件拷贝到PC的linux下。
OOM分析 oom_killer(out of memory killer)是Linux内核的一种内存管理机制,在系统可用内存较少的情况下,内核为保证系统还能够继续运行下去,会选择杀掉一些进程释放掉一些内存
1 页式管理 1.1 分段机制存在的问题 分段,是指将程序所需要的内存空间大小的虚拟空间,通过映射机制映射到某个物理地址空间(映射的操作由硬件完成)。...但是Linux并没有采用这种机制 正如前面所述,通过设置页目录项的Page Size标志启用扩展分页功能。在这种情况下,分页单元把32位线性地址分成两个字段: Directory:最高10位。...若这个标志为0,只有当CPL小于3(这意味着对于Linux而言,处理器处于内核态)时才能对页寻址;若该标志为1,则总能对页寻址。...此外,与段的3种存取权限(读,写,执行)不同的是,页的存取权限只有两种(读,写)。如果页目录项或页表项的Read/Write标志等于0,说明相应的页表或页是只读的,否则是可读写的。...第9~11位由操作系统专用,Linux也没有做特殊之用。 ? 80386的每个页目录项指向一个页表,页表最多含有1024个页面项,每项4个字节,包含页面的起始地址和有关该页面的信息。
上一篇文章写到中断机制,采用了等待队列的方式实现了按键中断。但是你会发现,应用程序在读取按键值的时,当没有按键按下,则一直处于睡眠态。无法继续往下执行。...poll机制的解析:其中poll()函数和select()函数的功能同等。...代码实现: 基本是在上一篇文章《中断机制》的代码实现中修改一些内容。 驱动代码:增加poll的方法。
这篇文章以按键为例子讲解linux的中断原理,中断的架构,中断的实现。 在我们的开发中,检测按键是否触发,无非就两种方法—轮询和中断。作者认为两种方法最大的区别就是CPU的利用率。...Linux的中断原理: 中断:处理器异常的一种,它是一种特殊的电信号,用硬件发给处理器,处理器接收到中断后,会马上向操作系统反映此信号的到来,然后就由操作系统负责处理这些新到来的数据。...Linux中断的相关函数: 1、注册中断函数: 中断处理函数结构: typedef irqreturn_t (*irq_handler_t)(int, void*); 注册中断函数:int request_irq...dev:与request_irq的参数dev必须一致,将request_irq指定的dev传递给这个参数; Linux中断处理分析: 第一种方式:应用层的读,不管什么情况下,都会返回。...Linux中断实现: 这里例子采用等待队列的方式实现(也就是上述的第二种方法)。
按照章文嵩对Julian的描述的说法,Julian写程序非常厉害,但也很神秘,两个人一直通过邮件联系,即便时间已经过去二十多年,两人至今仍然没见过面,却始终维持着一段基于开源信仰的珍贵友谊。...他也不是凡人,而是Linux中文化最积极的推动者,也是水木清华BBS的 Linux斑竹(即版主),名叫方汉。...年轻的方汉很喜欢玩这个游戏,喜欢到自己上手研发,因此开始自学Linux架服务器。结果他发现Linux比MUD还好玩,兴趣自然转向了Linux。...为了专注研究Linux中文化,方汉当时还有了一个小团队,成员包括他高能物理所的两个师兄陈向阳、于明俭。 他们一起解决了很多Linux中文化的问题,在圈内一时有了“中文Linux三剑客”的名头。...魏永明带着几个研究生基于Linux重新设计了数控系统的架构,并利用业余时间为Linux系统重写MiniGUI。 在Linux上重写后的MiniGUI功能更丰富,用户体验更好。
1 linux的分页机制 1.1 四级分页机制 前面我们提到Linux内核仅使用了较少的分段机制,但是却对分页机制的依赖性很强,其使用一种适合32位和64位结构的通用分页模型,该模型使用四级分页机制,即...1.2 不同架构的分页机制 对于不同的体系结构,Linux采用的四级页表目录的大小有所不同:对于i386而言,仅采用二级页表,即页上层目录和页中层目录长度为0;对于启用PAE的i386,采用了三级页表...Linux 的页全局目录对应80x86 的页目录指针表(PDPT),取消了页上级目录,页中间目录对应80x86的页目录,Linux的页表对应80x86的页表。...1.3 为什么linux热衷:分页>分段 那么,为什么Linux是如此地热衷使用分页技术而对分段机制表现得那么地冷淡呢,因为Linux的进程处理很大程度上依赖于分页。...这就是虚拟内存机制的基本要素。 每一个进程有它自己的页全局目录和自己的页表集。
关于同步理论的一些基本概念 临界区(critical area): 访问或操作共享数据的代码段 简单理解:synchronized大括号中部分(原子性) 竞争条件(race conditions)两个线程同时拥有临界区的执行权...上锁解锁必须具备原子性 原子性(象原子一样不可分割的操作) 有序性(禁止指令重排) 可见性(一个线程内的修改,另一个线程可见) 内核同步常用方法 原子操作 – 内核中类似于AtomicXXX,位于<linux...二值信号量) 完成变量 – 特殊的信号量(A发出信号给B,B等待在完成变量上) vfork() 在子进程结束时通过完成变量叫醒父进程 类似于(Latch) BKL:大内核锁(早期,现在已经不用) 顺序锁(linux
领取专属 10元无门槛券
手把手带您无忧上云