Linux操作系统的启动过程是一个复杂而精密的流程，涉及到多个阶段和组件。本文将对Linux启动流程进行深入探讨，并对比不同发行版之间的一些差异。我们将关注从Bootloader开始一直到用户空间初始化的整个过程。
BIOS (Basic Input/Output System) 是一组固件，通常存储在计算机主板上的芯片中。当计算机启动时，BIOS会自动运行，并通过POST (Power-On Self-Test) 对计算机进行自检，以确保硬件设备正常工作。在自检完成后，BIOS会寻找可引导的设备，通常是硬盘或光盘驱动器。如果找到了可引导设备，则BIOS将把控制权交给该设备中的引导程序。
这本书属于学习Linux内核原理必读推荐书目之一！对Linux内核的设计原理进行了细致的说明，也有具体实现部分的介绍，结合源码能很好的理解Linux内核；
前言： 书接上回《内存映射技术分析》，继续来分析一下linux的物理内存管理。 分析： 1，物理内存 PC上的内存条，或者手机上的内存芯片，物理上实实在在的内存，就是物理内存。大小是硬件决定的，一般就是一个起始地址，加上大小。地址如何分配呢？PC上作者也不太懂，听闻BIOS可以配置。在ARM上，作者曾经看过一份电路图，当时的图上，使用32bit的高2bit作为chip select，后面的30bit作为地址总线，看过chip select信号之后，作者才明白为什么在代码上要配置起始的地址不是0，因为硬件
【CSDN 编者按】自去年苹果自研 M1 芯片发布之后，激发了无数用户的体验热情，与此同时，也吸引大批开发者在 M1 上开启探索模式。其中，国外一位资深操作系统移植专家 Hector Martin 发起了一项名为「Asahi Linux」项目，通过众筹的方式为苹果 M1 系列新机移植 Linux 系统。
在前几期，我们提到了NUMA的概念。实际上，NUMA这个概念的内涵和外延，在不同的语境中会产生变化。
入口函数和运行库 入口函数 初学者可能一直以来都认为C程序的第一条指令就是从我们的main函数开始的，实际上并不是这样，在main开始前和结束后，系统其实帮我们做了很多准备工作和扫尾工作，下面这个例子可以证明： 我们有两个C代码： // entry.c #include <stdio.h> __attribute((constructor)) void before_main() { printf("%s\n",__FUNCTION__); } int main() { printf("%s\n
在 Linux 系统中一切皆文件，除了通常所说的狭义的文件以外，目录、设备、套接字和管道等都是文件。
共享内存区是最快的IPC形式，一旦这样的内存区映射到共享它的进程的地址空间，这些进程的数据传递就不再涉及内核。
在一些桌面程序中，整个内存映射是通过虚拟内存来进行管理的，使用一种称为内存管理单元(MMU)的硬件结构来将程序的内存映射到物理RAM。在对于 RAM 紧缺的嵌入式系统中，是缺少 MMU 内存管理单元的。因此在一些嵌入式系统中，比如常用的 STM32 来讲，内存映射被划分为闪存段（也被称为Flash,用于存储代码和只读数据)和RAM段，用于存储读写数据。
几种进程间的通信方式：管道，FIFO，消息队列，他们的共同特点就是通过内核来进行通信（假设POSIX消息队列也是在内核中实现的，因为POSIX标准并没有限定它的实现方式）。向管道，FIFO，消息队列写入数据需要把数据从进程复制到内核，从这些IPC读取数据的时候又需要把数据从内核复制到进程。所以这种IPC方式往往需要2次在进程和内核之间进行数据的复制，即进程间的通信必须借助内核来传递。如下图所示：
为了随机访问文件的内容，使用mmap将文件映射到内存中是一个高效和优雅的方法。例如，无需打开一个文件并执行大量的seek(),read(),write()调用，只需要简单的映射文件并使用切片操作访问数据即可。
1.mmap函数 所需头文件：#include<sys/mman.h> 函数原型：void* mmap(void* addr, size_t length, int prot, int flags, int fd, off_t offset) 参数： 第一个参数void* addr是映射区的首地址，传NULL，让内核去指定，返回值用来指定映射区的首地址。
内存映射 概念 : " 内存映射 “ 就是在 进程的 ” 用户虚拟地址空间 " 中 , 创建一个 映射 , " 内存映射 " 有
为了快速构建项目，使用高性能框架是我的职责，但若不去深究底层的细节会让我失去对技术的热爱。 探究的过程是痛苦并激动的，痛苦在于完全理解甚至要十天半月甚至没有机会去应用，激动在于技术的相同性，新的框架不再是我焦虑。 每一个底层细节的攻克，就越发觉得自己对计算机一无所知，这可能就是对知识的敬畏。
将一个文件或其它对象映射到进程地址空间，实现文件在磁盘的存储地址和进程地址空间中一段虚拟地址的映射关系。有了这样的映射，进程利用指针直接读写虚拟地址就可以完成对文件的读写操作。这样可以避免进行read/write函数操作。
进程间的通信-共享内存 共享内存机制 共享内存机制是允许两个或多个进程(不相关或有亲缘关系)访问同一逻辑内存的机制。它是共享和传递数据的一种非常有效的方式。不同进程之间共享的内存通常安排为同一段物理内存。 ---- 两种常用的共享内存方式 System V版本的共享内存 shmm 多进程直接共享内存 文件映射mmap 如果一个文件需要频繁进行读写，那么将它映射到内存中。 将特殊文件进行匿名内存映射，为有关联的进程提供共享内存空间。 为无关联的进程提供共享内存空间，将
尽管vmalloc函数族可用于从高端内存域向内核映射页帧(这些在内核空间中通常是无法直接看到的), 但这并不是这些函数的实际用途.
为了提高效率，略微复杂一些的操作系统对文件的读写都是带缓冲的，Linux当然也不例外。所谓缓冲，就是操作系统为近期刚读写的文件内容在内核保留一份副本，以便当再次须要已经缓冲存储在副本中的内容时就不必再暂时从设备上读入，而须要写的时候则能够先写到副本中，待系统较为空暇的时候再从副本写入设备。在多进程的系统中，因为同一个文件可能为多个进程所共享，缓冲的作用就更为显著。
本节介绍内存映射文件，内存映射文件不是Java引入的概念，而是操作系统提供的一种功能，大部分操作系统都支持。 我们先来介绍内存映射文件的基本概念，它是什么，能解决什么问题，然后我们介绍如何在Java中使用，我们会设计和实现一个简单的、持久化的、跨程序的消息队列来演示内存映射文件的应用。 基本概念 所谓内存映射文件，就是将文件映射到内存，文件对应于内存中的一个字节数组，对文件的操作变为对这个字节数组的操作，而字节数组的操作直接映射到文件上。这种映射可以是映射文件全部区域，也可以是只映射一部分区域。 不过，这种
我们的计算机，为了更好的对内存空间进行管理，将内存空间划分为以下几个区域：栈区、内存映射段、堆区、数据段、代码段，以及内核空间。C与C++在内存空间的分布是一致的。
SharedPreferences是谷歌提供的轻量级存储方案，使用起来比较方便，可以直接进行数据存储，不必另起线程。
所谓的内存映射就是把物理内存映射到进程的地址空间之内，这些应用程序就可以直接使用输入输出的地址空间，从而提高读写的效率。Linux提供了mmap()函数，用来映射物理内存。在驱动程序中，应用程序以设备文件为对象，调用mmap()函数，内核进行内存映射的准备工作，生成vm_area_struct结构体，然后调用设备驱动程序中定义的mmap函数。
“映射”就是建立一种对应关系，主要是指硬盘上文件的位置与进程逻辑地址空间中一块相同区域之间一一对应。这种关系纯属是逻辑上的概念，物理上是不存在的，原因是进程的逻辑地址空间本身就是不存在的，在内存映射过程中，并没有实际的数据拷贝，文件没有被载入内存，只是逻辑上放入了内存，具体到代码，就是建立并初始化了相关的数据结构，这个过程有系统调用mmap()实现，所以映射的效率很高。
Java 中的内存映射缓存区（Memory-mapped buffer）是一种将文件或文件的一部分直接映射到程序内存中的技术。简单来说，内存映射缓存区允许 Java 程序在处理文件时像处理一个非常大的字节数组一样进行操作，而不用担心过多的 I/O 负担或频繁的磁盘访问。为了更好地理解内存映射缓存区，我将从底层实现和使用场景两个方面进行说明。
建立一个文件的内存映射将使用操作系统虚拟内存来直接访问文件系统上的数据，而不是使用常规的I/O函数访问数据。内存映射通常可以提供I/O性能，因为使用内存映射是，不需要对每个访问都建立一个单独的系统调用，也不需要在缓冲区之间复制数据；实际上，内核和用户应用都能直接访问内存。
作为一个计算机底层小白，在了解一个知识点的时候时常需要恶补很多基础知识。 本文记录在了解LMDB过程中接触的知识点。
本文是“Linux内核分析”系列文章的第一篇，会以内核的核心功能为出发点，描述Linux内核的整体架构，以及架构之下主要的软件子系统。之后，会介绍Linux内核源文件的目录结构，并和各个软件子系统对应。
原文链接：https://juejin.cn/post/7293175592162836514
CreateFileMapping的MSDN翻译和使用心得 测试创建和打开文件映射的时候老是得到”句柄无效”的错误, 仔细看了MSDN以后才发觉是函数认识不透, 这里把相关的解释翻译出来
使用 mmap 模块实现对文件的内存映射，让我们读写二进制文件像操作数组一样高效优雅。
过去二十年，存储硬件的性能提升了两个数量级。首先，是SSD的出现；然后是计算机总线接口从SATA到PCIe的转变；最后在非易失性内存技术和制造工艺上的创新。就在2019年的4月份，Intel发布了首个商业化存储级内存产品（SCM）Optane DC Persistent Memory，它使用了3D XPoint技术，位于内存总线上，并且进一步降低了IO的时延。
ByteBuffer 是 java.nio 包下提供的一个类，提供了堆内内存分配与堆外内存分配机制，堆内内存分配方式：ByteBuffer.allocate(size)分配大小为size的字节数组；堆外内存分配方式：ByteBuffer.allocateDirect(size), 在堆外内存空间分配大小为size的空间地址。ByteBuffer.allocateDirect 返回的是一个DirectByteBuffer对象。
mmap是一种内存映射文件的方法，即将一个文件或者其它对象映射到进程的地址空间，实现了文件磁盘地址和进程虚拟地址的映射关系。实现映射关系后，进程就可以采用指针的方式读写操作这一段内存，而系统会自动回写脏页面到对应的文件磁盘上，即完成了对文件的操作而不必再调用read，write等系统调用函数。相反，内核空间对这段区域的修改也直接反映用户空间，从而可以实现不同进程间的文件共享。如下图所示：
在执行一个PE文件的时候，windows 并不在一开始就将整个文件读入内存的，二十采用与内存映射文件类似的机制。 也就是说，windows 装载器在装载的时候仅仅建立好虚拟地址和PE文件之间的映射关系。 当且仅当真正执行到某个内存页中的指令或者访问某一页中的数据时，这个页面才会被从磁盘提交到物理内存，这种机制使文件装入的速度和文件大小没有太大的关系。
GitHub：https://github.com/RazrFalcon/memmap2-rs
在编程过程中，优化程序的性能是一个常见的需求。而内存管理是一个关键的方面，可以对程序的性能产生重大影响。Python作为一种高级的解释型语言，自带了内存管理机制，同时也提供了手动管理内存的能力。本文将介绍Python中的内存管理机制，并探讨如何手动进行内存管理。
首先来看一下一般的IO调用。在传统的文件IO操作中，我们都是调用操作系统提供的底层标准IO系统调用函数 read()、write() ，此时调用此函数的进程（在JAVA中即java进程）由当前的用户态切换到内核态，然后OS的内核代码负责将相应的文件数据读取到内核的IO缓冲区，然后再把数据从内核IO缓冲区拷贝到进程的私有地址空间中去，这样便完成了一次IO操作。如下图所示。
在大型的计算集群中，往往有成千上万张GPU卡。如何将这些卡构成的算力集群分配给不同的租户，执行租户各自的计算任务，并实现租户之间的资源隔离和故障隔离呢？这就是算力分配与调度系统的功能了。
1、进程在用户空间调用库函数mmap，原型：void mmap(void addr, size_t len, int prot, int flags,
函数CreateFileMapping为一个指定的文件创建或打开一个已命名或未命名的文件映射对象，告知系统文件映射对象需要多少物理存储器。
上一篇我们分享了字符设备驱动框架：嵌入式Linux驱动基础，当时分享的是hello驱动程序。学STM32我们从点灯开始，学Linux驱动我们自然也要点个灯来玩玩，尽量在从这些基础例程中榨取知识，细抠、细抠，为之后更复杂的知识打好基础。
在前一章节中，我们了解了DMA技术在文件传输中的重要性，并简要介绍了零拷贝技术。为了提高文件传输的性能，我们需要减少用户态与内核态之间的上下文切换次数以及内存拷贝次数。本章将深入探讨零拷贝技术的优化方法，让我们一起走进零拷贝的优化之路！
文章摘要：上篇中主要介绍了RocketMQ存储部分的整体架构设计，本篇将深入分析RocketMQ存储部分的细节内容 在本篇文章中，小编将继续深入分析与介绍RocketMQ消息存储部分中的关键技术—Mmap与PageCache、几种RocketMQ存储优化技术（包括预先创建分配MappedFile、文件预热和mlock系统调用）、RocketMQ内部封装类—CommitLog/MappedFile/MappedFileQueue/ConsumeQueue的简析。然后，再简要介绍下RocketMQ消息刷盘两种主要方式。在读完本篇幅后，希望读者能够对RocketMQ消息存储部分有一个更为深刻和全面的认识。
Memory Manager(译为内存管理器)是 kubelet 内部的一个组件，旨在为 Guaranteed QoS 类型 pod 提供保证内存(和大页内存)分配功能，该特性提供了几种分配策略：
简介 随着公司业务量的逐年成长，粘性会话(Sticky Session)越来越成为应用横向扩展(Scale Out)的瓶颈，为消除粘性会话，支持应用无状态(Stateless)，我们SOA团队在今年发起了集中式会话服务器(Centralized SessionServer)项目，该项目的核心是一个我们独立设计和开发的高性能持久化的Key/Value存储引擎，我们称为SessionDB，本文介绍SessionDB存储引擎的特性，架构和设计，我们的性能优化，并做出性能评测和分析。 我们的Key-Value存储引
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
