一.存储基础知识 从工作原理区分： 机械 HDD 固态 SSD SSD的优势： SSD是摒弃传统磁介质，采用电子存储介质进行数据存储和读取的一种技术，突破了传统机械硬盘的性能瓶颈，拥有极高的存储性能...： 本地存储：例如DellR730本地磁盘 外部存储：scsi线、stat线、sas线、FC线 网络存储：以太网络、FC网络 从kernel对不同接口硬盘命名方式： OS IDE（并口） ...Ext4：Ext3的改进版本，作为RHEL 6系统中的默认文件管理系统，它支持的存储容量高达1EB（1EB=1,073,741,824GB）， 且能够有无限多的子目录。...XFS：是一种高性能的日志文件系统，而且是RHEL 7中默认的文件管理系统，它的优势在发生意外宕机后尤其明显， 即可以快速地恢复可能被破坏的文件，而且强大的日志功能只用花费极低的计算和存储性能。...因此，在对存储设备进行分区后还需要进行格式化操作。在Linux系统中用于格式化操作的命令是mkfs。
Linux虚拟存储管理分析 摘 要：本文通过解剖Linux操作系统的虚拟存储管理机制，说明了Linux虚拟存储的特点、虚拟存储器的实现方法，并基于Linux Kernel Source 1.0，详细分析有关虚拟存诸管理的主要数据结构之间的关系...本文介绍了Linux虚拟存储技术的特点，并结合操作系统原理和Linux内核源码，通过分析虚拟存储管理所需的主要数据结构及其相互关系，来更深入地了解Linux虚拟存储管理机制。...段页式存储管理 Linux中的内存管理技术采用的是段页式虚存技术。...图 3 虚拟存储管理的数据结构关系 数据结构介绍 vm_area_struct Linux采用了虚拟存储区域的方式来管理虚拟存储空间，一个虚拟存储区域是某个进程的一段虚拟存储空间...限于篇幅，本文仅简单介绍Linux在虚拟存储管理上的技术特点与实现的数据结构之间的关系，作为深入探讨Linux虚拟存储管理源码细节的入门性文章，希望能起到抛砖引玉的作用。
大家好，又见面了，我是全栈君 Linux 0.12 内核管理存储器 其分段，用分段的机制把进程间的虚拟地址分隔开。 每一个进程都有一张段表LDT。整个系统有一张GDT表。...（32位系统一个虚拟段的最大长度，理论上为4G） Linux 0.12内核人工定义的最大任务数为64个。...，而且由CPU的内存管理硬件(MMU)来引用。...【内存管理寄存器】 处理器提供了4个内存管理寄存器（GDTR、LDTR、IDTR、TR）。用于指定内存分段管理所用系统表的基地址。...虚拟存储 在保护模式中，80×86同意线性地址空间直接映射到大容量的主存中，或者间接地映射到小容量的物理内存和磁盘中。此方法被称为虚拟存储。
存储管理-存储管理的功能 存储器为什么比较重要? 存储器是计算机系统的重要资源之一。任何程序和数据以及各种控制用的数据结构都必须占用一定的存储空间，因此，存储管理直接影响系统性能。...虚拟存储器的特点 1.虚拟存储器不考虑物理存储器的大小和信息存放的实际位置，只规定每个进程中互相关连信息的相对位置 2.每个进程拥有自己的虚拟存储器，且虚拟存储器的容量由计算机的地址结构和寻址方式确定的...内存的分配与回收 存储管理模块要为每一个并发执行的进程分配内存空间。...另外，当进程执行结束之后，存储管理模块要及时回收该进程所占用的内存资源，以便给其他进程分配空间 策略: (1) 分配结构：登记内存使用情况，供分配程序使用的表格与链表。...保护键0对2K到4K的存储区进行读写同时保护的，保护键2对4K到6K的存储区进行写保护。 如果开关字与保护键匹配或存储块未受到保护，则访问该存储块是允许的，否则将产生访问出错中断。
虚拟存储技术： 由程序局部性原理可以发现，程序装入内存的时候，没必要一下子全部装入，所以作业提交给系统时，首先进入辅存，运行时，只将其有关部分信息装入内存，大部分仍然在外存中，当运行过程中需要用到不在内存的信息时...，再把它们调入，由外存和内存结合在一起，向用户提供一个其认为有的、但实际上不存在的大容量的内存，称为虚拟存储器。...这样虚拟存储器就成了一个将内、外存结合在一起，容量接近外存，速度接近内存的存储器。...实现虚拟存储技术的主要方法有，请求分页存储管理、请求分段存储管理和请求段页存储管理 关于具体实现看到了一篇比较好的文章，在此偷个懒直接将连接贴过来了http://blog.csdn.net/wang379275614
把内存空间分成与页面相同大小的若干个存储块，称为(物理)块或页框，同样进行编号。在为进程分配内存时，以块为单位将进程中的若干个页分别装入到多个可以不相邻接的物理块中。...---- 首先我们构造页面类,代码如下: package 页式存储; public class Page { private int PageNumber;...//页面号 private int BlockNumber; //即将存储它的块号 public Page(int pageNumber)...System.out.print(this.PageNumber+" "+this.BlockNumber); } } 之后进行设计位示图算法,代码如下: package 页式存储...-------------------------"); System.out.println("存储前的位示图:"); for ( int i = 0 ; i < num
虚拟存储技术（VIRTUAL MEMORY） 所谓的虚拟存储技术是指：当进程运行时，先将其一部分装入内存，另一部分暂留在磁盘，当要执行的指令或访问的数据不存在内存中时，由操作系统自动完成将它们从磁盘调入内存的工作...---- 存储器的层次结构 ---- 虚存 与 存储体系 把内存和磁盘有机地结合起来使用，从而得到一个容量很大的“内存”，即虚存。...虚存是对内存的抽象，构建在存储体系之上，由操作系统协调个存储器的使用 虚存提供了一个比物理内存空间大得多的地址空间 ---- 地址保护 确保每个进程有独立的地址空间 确保进程访问合法的地址空间...，防止地址越界 注意： 上图中的基地址寄存器和界限寄存器操作系统通过特殊的特权指令加载 确保进程的操作合法 ---- 虚拟页式（PAGING） **虚拟存储技术 + 页式存储管理方案...－> 虚拟页式存储管理系统 主要包括：1.
存储结构与管理硬盘一、添加硬盘设备一、添加硬盘设备添加硬盘设备的操作思路：首先需要在虚拟机中模拟添加入一块新的硬盘存储设备，然后再进行分区、格式化、挂载等操作，最后通过检查系统的挂载状态并真实地使用硬盘来验证硬盘设备是否成功添加...fdisk命令用于新建、修改及删除磁盘的分区表信息分区 [root@rhel ~]# fdisk /dev/sdb 依次输入 p n p 1 +1024G 回车 p w Linux...mdadm -D /dev/md0停用整个磁盘阵列mdadm --stop /dev/md0ls /dev/md0注意: 或使用此命令 移除 mdadm --remove /dev/md0LVM 逻辑卷管理器...一、部署逻辑卷表7-3 常用的LVM部署命令功能/命令物理卷管理卷组管理 逻辑卷管理扫描...[root@rhel ~]# mkfs.ext4 /dev/storage/vo如果使用了逻辑卷管理器，则不建议用XFS文件系统，因为XFS文件系统自身就可以使用xfs_growfs命令进行磁盘扩容。
ASM是Automatic Storage Management（自动存储管理）的缩写。ASM是一个集成的高性能的文件系统和卷管理器。...Oracle将所有的存储分为disk groups，我们只需要管理这些disk groups，而不用去管具体的数据文件。...提供高效率的存储管理 提供完整的集群文件系统和卷管理能力 ASM的优点： Mirroring and Striping（镜像化和条带化） 条带化是一种用于在多个磁盘驱动器之间分散数据的技术。...分条可以加快从磁盘存储中获取数据的操作，这是因为它扩展了总I/O带宽的能力。这样就优化了性能和磁盘利用率，从而不再需要手动I/O 性能调优。...Dynamic Storage Configuration（动态存储配置） 可以在数据库运行时更改数据库的配置，ASM会自动Rebalance。
Docker镜像元数据管理 Docker镜像在设计上将镜像元数据与镜像文件的存储完全隔离开了。与Docker像管理相关的概念，包括repository, image, layer。...1、存储驱动的功能与管理 存储驱动接口的定义 GraphDriver中主要定义了Driver和ProtoDriver两个接口，所有的存储驱动通过实现Driver接口提供相应的功能，而ProtoDriver...在Linux平台下，目前优先级列表依次包含了这些驱动:aufs, btrfs, zfs, devicemapper, overlay和vfs....Docker镜像管理部分与存储驱动在设计上完全分离，镜像层或者容器层在存储驱动中拥有一个新的标示ID，在镜像层(roLayer)中称为cacheID，容器层(mountedLayer)中为mountID...device-mapper Device Mapper是Linux 2.6内核中提供的一种从逻辑设备到物理设备的映射框架机制，在该机制下，用户可以很方便地根据自己的需要制定实现存储资源的管理策略.
一、Kubernetes 如何管理存储资源： 理解volume 1）Kubernetes 如何通过 Volume 为集群中的容器提供存储； 2）实践几种常用的 Volume 类型并理解它们各自的应用场景...Volume 的底层基础设施由独立的存储系统管理，与 Kubernetes 集群是分离 的。数据被持久化后，即使整个 Kubernetes 崩溃也不会受损。...当然，运维这样的存储系统通常不是项简单的工作，特别是对可靠性、高可用和扩展性有较高要求时。 Volume 提供了非常好的数据持久化方案，不过在可管理性上还有不足。...Pod 通常是由应用的开发人员维护，而 Volume 则通常是由存储系统的管理员维护。开发人员要获得上面的信息： 要么询问管理员。 要么自己就是管理员。...PersistentVolume (PV) 是外部存储系统中的一块存储空间，由管理员创建和维护。与 Volume 一样，PV 具有持久性，生命周期独立于 Pod。
01概述 1、在之前的文章中，对每一种数据结构虽都介绍了他们在内存储器中的映像，但只是借助C语言中的变量说明加以描述，并没涉及具体的存储分配。...2、实际上，结构中的每个数据元素都占有一定的内存位置，在程序执行的过程中，数据元素的存取是通过对应的存储单元来进行的。 3、在早期的计算机上，存储管理的工作是由程序员自己来完成的。...5、在有了高级语言之后，程序员不需要直接和内存地址打交道，程序中使用的存储单元都由逻辑变量（标识符）表示，他们对应的内存地址都是由编译程序在编译或执行时进行分配。
01 概述 1、在之前的文章中，对每一种数据结构虽都介绍了他们在内存储器中的映像，但只是借助C语言中的变量说明加以描述，并没涉及具体的存储分配。...2、实际上，结构中的每个数据元素都占有一定的内存位置，在程序执行的过程中，数据元素的存取是通过对应的存储单元来进行的。 3、在早期的计算机上，存储管理的工作是由程序员自己来完成的。...5、在有了高级语言之后，程序员不需要直接和内存地址打交道，程序中使用的存储单元都由逻辑变量（标识符）表示，他们对应的内存地址都是由编译程序在编译或执行时进行分配。
OS——分页存储管理 最近的状态些许迷惑，所以有一段时间没有写东西了，与此同时的，还有几乎停止的OS进度。今天下午也是抽了一片时间来重新学了一下分页存储，然后来写这一篇文章。...关于为什么要写，因为真滴觉得分页存储的内容很容易让人发晕，各种相差无几的概念让人经常混淆，所以来写一篇文章梳理一下，也为了接下来更好的学习内存管理的其他内容。...我们在前面的章节在学习内存的分配与回收时，讲过分区存储管理的方式 ，其中不管是固定分区管理还是动态分区管理，都是为程序分配一片连续的内存空间，所以这种方式即为连续分配方式。...那么就引出了离散分配方式： 离散分配方式即系统为一个进程分配的未必是一片连续的内存区域，如果离散分配的基本单位是页，就是分页存储管理；如果离散分配的基本单位是段，就是分段存储管理。...因为是叫分页存储嘛，我们就将名字设置为：在内存空间分块的基础上，对逻辑空间分页（实际上就是把程序分块）。介绍完原理后，我们就可以引出第一组容易混淆的定义了。
配置卷 emptyDir emptyDir: 本地卷，在物理机里随机生成一个目录 如果pod被删除，则物理机里对应的目录也会被删除，不是永久性存储 图片1.png 定义卷的格式： volumes:...使用NFS网络存储 图片1.png 图片2.png 本次实验用*表示允许任何客户端访问，注意*与括号之间没有空格 图片3.png 注：虽然是在pod上挂载的，但是必须在worker....png 图片15.png 图片16.png 在/vdisk创建文件，则容器里也会同步出现相同文件，这里不作演示 到此nfs搭建完成，就算pod移至其他节点也不会影响数据一致性 持久性存储
存储加速方向 存储软件自身软件栈 存储软件自身一般通过是通过减少软件栈开销来达到优化自身的目的，比如软件栈的一些校验或者保护算法可以通过CPU的特殊指令集对存储校验或者保护算法进行优化 网络IO Linux...存储IO 操作系统到实际存储设备落盘过程中，可以采用用户态的驱动和IO栈的旁路操作系统内部大部分IO栈进行加速，比如SPDK CPU处理器的加速 超线程技术 超线程技术是操作系统将每个物理核心识别为2个可以并行的功能工作逻辑核...AES-NI是为了加速AES算法，提高加密的数据吞吐量而设计的扩展指令 CRC32扩展指令集，循环冗余校验(CRC)算法用于网络和存储领域进行的数据一致性检查。...数据计算加速 可以通过FPGA加速纠删码(EC)、数据压缩算法(gzip/LZO/LZ4)、加解密算法、哈希算法 可以通过软件自定义 网络负责复制和备份工作，这一网络可以通过采用FPGA的硬件改造来加速存储协议转换
Apache Spark中，对Block的查询、存储管理，是通过唯一的Block ID来进行区分的。...全文中，我们主要针对RDDBlockId对应的Block数据的处理、存储、查询、读取，来分析Block的管理。...MEMORY_AND_DISK_SER MEMORY_AND_DISK_SER_2 OFF_HEAP DiskBlockManager管理了每个Block数据存储位置的信息，包括从Block ID到磁盘上文件的映射关系...BlockManager 谈到Spark中的Block数据存储，我们很容易能够想到BlockManager，他负责管理在每个Dirver和Executor上的Block数据，可能是本地或者远程的。...这里需要说明的是，如果对应的Block数据的StorageLevel设置为写磁盘，通过前面我们知道，DiskStore是通过DiskBlockManager进行管理存储到磁盘上的Block数据文件的，在同一个节点上的多个
前言： 随着Linux的版本升高，存储栈的复杂度也随着增加。作者在这里简单介绍目前Linux存储栈。...另外就是缓存的管理。page cache，buffer，以及文件映射等高级功能，都是vfs实现的。...注意，因为没有经过vfs的管理，就没有了cache。绕开了通用块层，io合并等高级特性也没有。 一般是宿主机使用scsi passthrough的方式，把物理磁盘透传给虚拟机的时候使用。...理解LVM的逻辑的核心在于上文的图中：理解清楚存储栈的层次关系，虚拟块设备到物理块设备之间的映射。...12，其他问题 scsi已经是 很成熟的框架了，但是在Linux4.14上，作者还是看到了scsi引起的kernel die。
image.png raid0 无容错，高效率 2 raid 容错，效率低 2 raid5 有容错，有效率 3 raid10 4 raid:http://www.hack520.com/169.html 存储网络
从内核的角度来查看内存的状态 从应用层的角度来看系统内存的使用状态 缓冲区（buffer）与缓存（cache）的异同 交换空间的使用 创建交换空间 激活和使用交换空间 移除交换空间 ---- 概念 内存管理是...Linux系统重要的组成部分。...Linux的内存管理采取的是分页存取机制。为了保证物理内存能得到充分的利用，内核会在适当的时候将物理内存中不经常使用的数据块自动交换到虚拟内存中，而将经常使用的信息保留到物理内存中。...如果此时没有足够的物理内存来容纳这些页面，它们又会被马上交换出去，如此一来，虚拟内存中可能没有足够空间来存储这些交换页面，最终会导致Linux出现假死机、服务异常等问题。...Linux下可以使用文件系统中的一个常规文件或者一个独立分区作为交换空间。同时Linux允许使用多个交换分区或者交换文件。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
