磁盘存储数据的原理_磁盘数据存储原理_数据的存储原理 - 腾讯云开发者社区 - 腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

磁盘存储原理：从电与磁说起

一、磁盘的电磁原理： 1、电磁效应：电流通过导体时，会在导体的周围会产生感应磁场。感应磁场的磁极随电流方向的改变而改变。...一般从未受到外部干扰的磁性粒子磁极方向是随机的，于是出现互相抵消的情况，这时磁盘的表现出无磁极显现。磁盘写的过程：写数据时磁头移到到磁盘要写入的位置，输入电流产生感应磁场。...如此便将电信号持久化到磁盘上（当然并不是一个磁极方向代表1另一个代表0）. 4、磁盘读取过程： [磁盘2.png] 读取磁盘信息时，不通电的磁头在写入数据的位置上移动，上面可知数据在磁盘上就是一些磁极方向不同的微小局部区域...在硬盘读写时，读操作是远快于写操作的，而且读/写操作具有完全不同的特性，所以目前的硬盘一般都分离出读和写两个磁头，但原理还是不变的。...绝命毒师第五季第一季中，记录着老白制毒过程的笔记本电脑被警方获得并放到了物证室里。老白利用电磁效应，在物证室外弄了一个大‘磁铁’破坏了笔记本里面的数据，就是上面的原理。

7.7K10 2

MyISAM按照插入的顺序在磁盘上存储数据

MyISAM按照插入的顺序在磁盘上存储数据聚族索引的优点可以把相关数据保存在一起。例如实现电子邮件时，可以根据用户ID来聚集数据，这样只需要从磁盘读取少数的数据页就能获取某个用户的全部邮件。...如果没有使用聚族索引，则每封邮件都可能导致一次磁盘I/O；数据访问更快。聚族索引将索引和数据保存在同一个B-Tree中，因此从聚族索引中获取数据通常比在非聚族索引中查找更快。...缺点：二级索引叶子节点保存的不是指行的物理位置的指针，而是行的主键值。这意味着通过二级索引查找行，存储引擎需要找到二级索引的叶子节点获取对应的主键值，然后根据这个值去聚簇索引中查找到对应的行。...在innodb中，由于聚簇索引的顺序就是数据的物理存储顺序，因此我们要尽量使主键有序，方法就是使用COMB，前6个字节表示时间，可以精确到毫秒，后10个字节利用UUID的前10个字节。...当表上的数据行被删除时，所占据的磁盘空间并没有立即被回收，使用了OPTIMIZE TABLE命令后这些空间将被回收，并且对磁盘上的数据行进行重排（注意：是磁盘上，而非数据库）。

7650 0

您找到你想要的搜索结果了吗？

是的

没有找到

Prometheus时序数据库-磁盘中的存储结构

前言之前的文章里，笔者详细描述了监控数据在Prometheus内存中的结构。而其在磁盘中的存储结构，也是非常有意思的,关于这部分内容，将在本篇文章进行阐述。...最近的Block一般是存储了2小时的数据，而较为久远的Block则会通过compactor进行合并，一个Block可能存储了若干小时的信息。...if cutNewBatch { ...... } ...... } } 当写入磁盘单个文件超过512M的时候，就会自动切分一个新的文件。...寻址过程索引就是为了让我们快速的找到想要的内容，为了便于理解。笔者就通过一次数据的寻址来探究Prometheus的磁盘索引结构。...事实上，真正的Label Index比图中要复杂一点。它设计成一条LabelIndex可以表示(多个标签组合)的所有数据。不过在Prometheus代码中只会采用存储一个标签对应所有值的形式。

2.8K0 0

clickhouse多磁盘存储

使 clickhouse 可以实现阶梯式多层存储，即将冷热数据分离，将冷热数据分别保存在不同类型的存储设备中。日常交互式查询中，95% 查询访问近几天的数据，剩下 5% 的跑一些长周期批处理任务。...我们可以通过阶梯式多层存储，将最新的热点数据放在高性能介质如 SSD，旧的历史数据放在廉价的机械硬盘中。...此外，将数据存在多个存储设备中，以扩展服务器的存储能力，clickhouse 也能够自动在不同存储设备之间移动数据。...每张 MergeTree 表都有一个存储策略，用以规定该表数据如何写入；策略将不同的磁盘分到一个或多个卷中，并规定了数据的写入顺序以及如何在磁盘之间移动数据。...”），通过将多个磁盘分配在一个卷中，每次插入数据所生成的data part会以轮询的方式依次写入这些磁盘，该策略的优点：通过直接追加磁盘的形式，可以便捷地扩展存储能力在多线程并行访问多个不同磁盘时，

1.3K6 0

磁盘原理简要分析

换句话说，盘片的两个面都能用于存储、读取数据。现在我们知道了，数据其实是存在磁性材料上的，那这里再思考一个问题：「磁盘怎么知道，数据该存在哪块磁性材料上？读取的时候又该从哪块材料上读？读多少？」...转换成图形可能就是这样：盘片的ZBR 不同的磁道扇区数量不同了，外圈磁道上面的扇区会更多些，从而充分的利用空间，提升磁盘的总容量。存储原理好，继续深入问题盘片存储相关的问题。...并且，从上述现状我们可以简单推导，既然读写磁盘都是靠读取盘片上的磁性序列，并且盘片的两个面都能用于存储数据，那么必然盘片的每个面都有磁头。...磁盘性能了解完一些简单的原理之后，我们终于可以来了解磁盘性能相关的问题了，我们会深入的分析为什么磁盘 IO 是个非常昂贵的操作。现在思考一个问题，我们要查询数据，底层会怎么做？...好了，关于磁盘的原理就简单介绍到这里。

3871 0

谈谈你对Kafka数据存储原理的理解？

一位5年工作经验的小伙伴面试的时候被问到这样一个问题，说”谈谈你对Kafka数据存储原理的理解“。然后，这位小伙伴突然愣住了，什么是零拷贝，零拷贝跟Kafka有关系吗？...那么今天，我给大家来聊一聊我对Kafka零拷贝原理的理解。 1、Topic主题在Kafka中，这个用来存储消息的队列叫做Topic，它是一个逻辑的概念，可以理解为一组消息的集合。...其中.index是用来存储Consumer的Offset偏移量的索引文件，.timeindex是用来存储消息时间戳的索引文件，log文件就是用来存储具体的数据文件。...相对来说，越稠密的索引检索数据更快，但是会消耗更多的存储空间；越的稀疏索引占用存储空间小，但是插入和删除时所需的维护开销也小。同样，时间戳索引也是采用稀疏索引设计。...由于索引文件是以Offset命名的，所以Kafka在检索数据的时候，是采用二分法查找，效率就非常快。以上就是我对Kafka数据存储原理的理解！

6142 0

Linux 中的存储结构与磁盘划分

会把整个磁盘的每个写入动作的细节都预先记录下来，以便在发生异常宕机后能回溯追踪到被中断的部分，然后尝试进行修复。...（mtime）；文件的特殊权限（SUID、SGID、SBIT）；该文件的真实数据地址（point）。...使用推荐的 SCSI 就可以： ? 选择创建新的虚拟磁盘，点击下一步： ? 硬盘大小默认 20G 但是这并不是说立马就用完了，所以放心选择，并选择将磁盘拆分为多个文件： ?...六、管理硬盘 1、fdisk 工具 fdisk 命令用于管理磁盘分区，格式为“fdisk [磁盘名称]”，它提供了集添加、删除、转换分区等功能于一身的“一站式分区服务”。 ?...但由于交换分区毕竟是通过硬盘设备读写数据的，速度肯定要比物理内存慢，所以只有当真实的物理内存耗尽后才会调用交换分区的资源。交换分区的创建过程与前文讲到的挂载并使用存储设备的过程非常相似。

1.6K2 0

MYSQL 时间类型在磁盘上的存储结构

本文主要讲mysql的时间类型在磁盘上的存储结构(innodb)时间类型mysql时间类型主要有如下几种 (5.6.4之后的版本)类型占用空间字节序取值范围date3大端'1000-01-01' to...n(fractional-seconds), 关系如下N = int((n+1)/2)nN001,213.425,63存储结构date从左到右为:1 bit sign14 bit year4 bit...(1 9 # 与目标数做与运算得到除了239 位的数不变外, 其它数均为0. 1与(...1/0)得(1/0) 0与(1/0)得0# 将与后的数据, 去掉后面的0, (右移9位, 就是刚才左移的9位).time从左到右为1 bit sign11 bit hour (实际上是10bit...month = int(year_month%13)timestamp这个就是秒数(uint32), 直接取值即可int.from_bytes(bdata[:4],'big')分秒如果固定时间类型后面还有数据

9562 0

存储01-磁盘阵列历史

1.软raid 由于时代和磁盘技术发展的限制(单盘容量和性能发展缓慢)，产生了raid相关技术。技术产生了，如何才能快速的来实现和进行部署呢？...(术业有专攻) 3.raid卡+jbod 由于机箱空间有限，可安装的磁盘数量受限，怎么办？...专门做一个磁盘箱子呗，这个磁盘箱子就是jbod(磁盘+磁盘背板+主机接口)。当主机磁盘不够的时候，就加jbod箱子，一个不够就两个，两个不够就三个，以此类推。...但是随着客户把越来越多越来越重要的数据放入存储，这个时候就有一个非常大的隐患：存储控制器单点故障。你想啊，客户花了大价钱把全部身家性命都放你这个单控制器身上了，万一你那天挂了，客户不得砍死你。...比如还是每个控制器10个lun的工作量，但是A控制器的10个lun刚好是数据库用，iops和随机读写特别忙；B控制器的10个lun刚好是存小电影的，一年也看不了几次。这就导致A特别忙，B特别闲。

1.5K2 1

磁盘文件读取——客户端存储

概述磁盘文件指的是客户端操作系统本地文件系统中的文件，也经常直接被称作本地文件，但因为容易与沙箱文件系统的WEB本地文件系统相混淆，所以特意将名称区分了一下。...磁盘文件读取API是通过FileReader对象来实现的。...使用FileReader对象,web应用程序可以异步的读取存储在用户计算机上的文件(或者原始数据缓冲)内容,可以使用File对象或者Blob对象来指定所要处理的文件或数据.其中File对象可以是来自用户在一个...元素上选择文件后返回的FileList对象,也可以来自拖放操作生成的 DataTransfer对象。...这也意味着没有用户的参与，WEB应用程序是没有能力直接指定读取磁盘上的任何一个文件的。代码示例下面的代码可以实现图片的本地预览: <!

1.5K2 0

Ceph指定磁盘类型创建存储池

介绍在用openstack的时候，有sas盘，有ssd盘，想将外挂卷用sas盘，故通过改crush规则实现实现方式创建创建两条rule host分别指定为ssd/hdd ceph osd crush...rule-ssd default host ssd ceph osd crush rule create-replicated rule-hdd default host hdd 修改pool绑定的rule

1.5K1 0

Consul 的键值存储原理

Consul KV 存储的实现原理Raft 算法Raft算法是Consul KV存储的实现基础。Raft是一种分布式一致性算法，用于在分布式系统中维护复制状态机。...Consul KV 存储的使用方法写入数据写入数据是Consul KV存储中最基本的操作之一。客户端可以使用Consul API向KV存储中写入数据。...更新数据更新数据是Consul KV存储中的另一个基本操作。客户端可以使用Consul API更新KV存储中的数据。...更新到key为"mykey"的键值对中。如果更新成功，Consul会返回HTTP状态码200。删除数据删除数据是Consul KV存储中的另一个基本操作。...客户端可以使用Consul API删除KV存储中的数据。

8032 0

数据库原理——事务、视图、存储过程

持久性（Durability):持久性是指一个事务一旦被提交，它对数据库中数据的改变就是永久性的，接下来的其他操作和数据库故障不应该对其有任何影响。...，当这些事务访问数据库中相同的数据时，如果没有采取必要的隔离机制，就会导致各种并发问题。...幻读：幻读本质上也属于不可重复读的情况，T1 读取某个范围的数据，T2 在这个范围内插入新的数据，T1 再次读取这个范围的数据，此时读取的结果和和第一次读取的结果不同。...逻辑查，一般不能增删改表 create table 保存了数据增删改查三、存储过程和函数类似于java中的方法好处...存储过程含义：一组预先编译好的SQL语句的集合，理解成批处理语句提高代码重用性简化操作减少了编译次数并且减少了和数据库服务器的连接次数，提高了效率语法创建 create procedure

7422 0

磁盘IO原理及其性能分析

上一篇文章大概介绍了I/O的一些基本原理和技术，这篇我们主要介绍基于Linux系统的I/O的一些运行原理、监控方式。虚拟内存为了优化读取磁盘数据的效率，操作系统在内存和磁盘之间增加了一层缓存。...可以将虚拟内存看成是磁盘数据的一种缓存机制。另外，应用程序不需要关心虚拟内存的底层工作原理，虚拟内存有一套自己的逻辑来管理整个内存，应用程序的感知就像物理内存变大了一样。...当程序在进行一些计算时，CPU会请求内存中存储的数据，若数据不存在内存中，就会报告一个缺页错误（Page Fault），用户进程就中断了，进程会从用户态切换到系统态，交由操作系统内核处理缺页错误，处理完缺页错误之后...直接IO就是应用程序直接访问磁盘数据，而不经过内核缓冲区，这种一般使用在数据库中，这样做的目的是减少一次从内核缓冲区到用户程序缓存的数据复制，另外，不使用系统的缓存，而使用数据库自己的缓存，因为数据库可以根据数据的特点进行缓存...从磁盘读出的块的总数Blk_wrtn 写入磁盘的块的总数 kB_read/s 每秒从磁盘读取数据大小，单位KB/skB_wrtn/s 每秒写入磁盘的数据的大小，单位KB/skB_read

3K3 0

大数据入门：Hbase存储原理解析

今天的大数据入门分享，我们就来讲讲Hbase存储原理。...要了解Hbase的存储原理，我们先从Hbase的数据结构开始讲起。 Hbase的数据结构 Hbase是一个稀疏、多维度、排序的映射表，这张表的索引是行键、列族、列限定符和时间戳。...Hbase存储原理 HBase在存储上是基于LSM树实现的，与传统的B/B+树原理不同的是，LSM树非常适用于写入要求非常高的场景。...LSM的原理，就是将一个大的B(B+)树拆分成N棵小树，数据首先写入内存中(有序)，随着数据写入越来越多，内存中的数据会被flush到磁盘中形成一个文件；在读取数据时，则需要合并磁盘中历史数据和内存中最近修改的操作后返回...关于大数据入门，Hbase存储原理解析，以上就为大家做了基本的介绍了。Hbase在大数据生态当中，尤其是数据存储环节，重要程度非常高，也建议大家去深入地理解和掌握。

1K2 0

磁盘阵列RAID基础原理

如果你的主机中有三个硬盘（不是分区），里面保存的数据非常重要，那么你会想怎么对这些数据进行备份。最简单的办法是再买几个硬盘，把数据全部拷贝到备份硬盘。...0 0 1 1 1 1 0 1 ++disk为奇偶校验盘，它的数据都是通过前面四个盘的数据进行异或计算得到的。...进一步优化： 1、每次写数据时，为了奇偶校验，都需要读取其它所有盘的数据，造成写的速度慢。...改进办法：分段写磁盘，系统首先把要写入的数据进行段（大小同硬盘中的段）的划分，按照这些段中的数据，计算出奇偶校验数据，然后同时写入硬盘（此时的同时写入是真实的同步执行写入，因为每一个硬盘都是物理独立的）...3、当一个硬盘坏掉后，能够进行恢复，但如果再坏一个，会对系统造成难以恢复的灾难。改进办法：增加一个热备盘，正常情况下，不向此盘写入数据，当一个磁盘出问题后，系统立即把数据恢复到热备盘。

4082 0

关于overlay2存储驱动的磁盘配额问题

概述这篇短文向大家介绍一下正确使用存储驱动的姿势，非常有用。...为啥要用overlay2 docker centos（内核3.10）上默认存储驱动是devicemapper 的loop-lvm模式，这种模式是用文件模拟块设备，不推荐生产使用 direct lvm又不是一个开箱即用的模式...，懒得配置最关键的是 docker in docker的情况下 device mapper是行不通的，典型的场景就是用drone时，构建docker镜像就不能正常工作 overlay存储驱动层数过多时会导致文件链接数过多可能会耗尽...xfs defaults,pquota 0 0" >> /etc/fstab fi overlay2如果不做一些特殊操作，cadvisor是监控不到容器内实际使用多少磁盘的...log-opts": { "max-size": "10m" } } systemctl daemon-reload systemctl restart docker 这样就可以把每个容器磁盘大小限制在

1.4K2 0

Postgresql 如何降低 wal 占用磁盘空间，降低磁盘存储成本

POSTGRESQL WAL 的存储一直是一个值得讨论的问题，到底一个POSTGRESQL 在极端的情况下，可以用多少的空间来存储WAL 日志。...这里不是要讨论逻辑复制槽，也不是讨论ARCHIVE ，这里要讨论是一种极端的方法，尝试将POSTGRESQL WAL占用的磁盘空间最小化。...1 full page 众所周知，在POSTGRESQL WAL 为了保证日志的在系统crash后，有最后一次checkpoint 前的数据的完整的页面，需要在必要的时刻，在数据页面未写入完全的时候...先说一下测试的流程 1 产生新的wal log 2 记录 wal log lsn 号 3 对数据库进行压测 4 记录产生的新的记录号 5 对于整体的日志产生进行分析。...那么此时第一个问题 full page 关闭后，对日志的影响的大概，大家心里也会有数，full page 的确是wal 日志中记录的数据的大头。

8831 0

kvm qcow2，raw 磁盘格式、磁盘存储策略介绍

qcow2，raw 磁盘格式介绍 raw: 裸磁盘格式（默认的虚拟磁盘格式） raw格式是原始镜像，直接将数据写入磁盘，没有额外的元数据或压缩,由于没有复杂的元数据处理，raw 格式通常比较快，适用于一些对性能要求较高的场景...精简置备的磁盘只使用该磁盘最初所需要的数据存储空间。如果以后精简磁盘需要更多空间，则它可以增长到为其分配的最大容量。为该磁盘文件指定增长的最大空间，需要增长的时候检查是否超过限额。...,当虚拟机写入数据时,根据写入数据量动态分配物理存储空间。...因此理论上虚拟机分配的磁盘大小总和不受物理存储总容量的限制,即虚拟机磁盘容量可以超配。...但是虚拟机运行过程中会持续写入数据,当虚拟机动态分配的存储空间接近物理存储的实际容量时,虚拟机无法继续分配到存储空间从而导致运行异常。

8501 0

Kafka消息的磁盘存储Kafka源码分析-汇总

发送到Kafka的消息最终都是要落盘存储到磁盘上; 本章涉及到的类: OffsetIndex; LogSegment; ---- OffsetIndex类所在文件: core/src/main/scala.../kafka/log/OffsetIndex.scala 作用: 我们知道所有发送到kafka的消息都是以Record的结构(Kafka中Message存储相关类大揭密)写入到本地文件, 有写就要有读...,读取时一般是从给定的offset开始读取,这个offset是逻辑offset, 需要转换成文件的实际偏移量, 为了加速这个转换, kafka针对每个log文件,提供了index文件, index文件采用稀疏索引的方式..., 只记录部分log offset到file position的转换, 然后还需要在log文件中进行少量的顺序遍历, 来精确定位到需要的Record; index文件结构: 文件里存的是一条条的log...: 上面我们说过这个index文件的读取是使用了内存文件映射MappedByteBuffer, 然后并没有找到相应的unmap(实际上是没有这方法)的调用, 这个会不会有问题呢?

1.5K2 0

点击加载更多

扫码

添加站长进交流群

领取专属 10元无门槛券

手把手带您无忧上云

扫码加入开发者社群

相关资讯

热门标签

活动推荐

运营活动

活动名称

广告关闭