首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

简易磁盘写入速度测试工具(GO)

最近遇到一个MySQL数据写入异常的问题, 由于之前踩过磁盘IO速度的坑, 所以这次也优先排查磁盘写入速度是否有问题, 废话少说, 上代码: package main import ( "os...SSD还是HDD, 都是1s不到, 这不符合预期, 想了一下, 应该是磁盘缓存的原因, 相当于并没有实际写入磁盘,而是缓存在内存中 那么怎么办呢, 磁盘缓存肯定是有一个极限的, 可能几百M或者1/2G..., 不能再多了,这块没具体去研究, 想到这里就优化了一下测试方案, 改单次写入为持续写入, 修改后: // 4M for k:=0; k<4*1024;k++{ str...4G内容, 速度全程都是在 2-5ms/4M, 对磁盘写入速度的怀疑消除~~!...(str) f.Sync() 它会要求系统立即将文件的缓存进行持久化,写入磁盘…加上sync()之后测试, 结果也符合预期.

1.3K40

Linux 磁盘IO读写速度检测

---- 概述 读取速度可以使用命令:hdparm –t 设备名(/dev/sda1) 写入速度使用命令:time dd if=/dev/zero of=/tmp/test.dat bs=1G count...=1 ---- 测试磁盘的读写IO速度 有时候我们在做维护的时候,总会遇到类似于IO特别高,但不能判定是IO瓶颈还是软件参数设置不当导致热盘的问题.这时候通常希望能知道磁盘的读写速度,来进行下一步的决策..., with suggestions from many netfolk).该命令应该也是仅用于Linux系统,对于UNIX系统,ATA/IDE硬盘用的可能比较少,一般大型的系统都是使用磁盘阵列的..../zero of=/var/test bs=2k count=1000000 测试磁盘的IO读速度: # time dd if=/var/test of=/dev/null bs=2k 测试IO同时读和写的速度...相比两种方法: 前者是linux上专业的测试IDE/ATA磁盘的工具,但是使用范围有局限性;(此试验仅仅使用了测试磁盘IO的参数,对于其他参数及解释参考man手册) 后者可以通用,但不够专业,也没有考虑到缓存和物理读的区分

8.8K20
您找到你想要的搜索结果了吗?
是的
没有找到

linux下测试磁盘的读写IO速度

原文地址:linux下测试磁盘的读写IO速度 作者:zongg 有时候我们在做维护的时候,总会遇到类似于IO特别高,但不能判定是IO瓶颈还是软件参数设置不当导致热盘的问题.这时候通常希望能知道磁盘的读写速度...suggestions from many netfolk).该命令应该也是仅用于Linux系统,对于UNIX系统,ATA/IDE硬盘用的可能比较少,一般大型的系统都是使用磁盘阵列的....(物理读),读取速度约合70.11 MB/sec (2)使用dd命令 这不是一个专业的测试工具,不过如果对于测试结果的要求不是很苛刻的话,平时可以使用来对磁盘的读写速度作一个简单的评估....221.6MB/sec; 当然这个速度可以多测试几遍取一个平均值,符合概率统计. b.测试磁盘的IO读速度 # df -m Filesystem 1M-blocks Used Available...相比两种方法: 前者是linux上专业的测试IDE/ATA磁盘的工具,但是使用范围有局限性;(此试验仅仅使用了测试磁盘IO的参数,对于其他参数及解释参考man手册) 后者可以通用,但不够专业,也没有考虑到缓存和物理读的区分

9.6K30

数据同步写入磁盘:sync

Linux/Unix系统中,在文件或数据处理过程中一般先放到内存缓冲区中,等到适当的时候再写入磁盘,以提高系统的运行效率。sync命令则可用来强制将内存缓冲区中的数据立即写入磁盘中。...buffer与cache buffer:为了解决写磁盘的效率 cache:为了解决读磁盘的效率 linux系统为了提高读写磁盘的效率,会先将数据放在一块buffer中。...在写磁盘时并不是立即将数据写到磁盘中,而是先写入这块buffer中了。此时如果重启系统,就可能造成数据丢失。...sync命令会强制将数据写入磁盘中,并释放该数据对应的buffer,所以常常会在写磁盘后输入sync命令来将数据真正的写入磁盘。...如果不去手动的输入sync命令来真正的去写磁盘linux系统也会周期性的去sync数据。

1.9K20

Linux系统使用iotop命令查看磁盘当前读写速度

iotop命令是一个用来监视磁盘I/O使用状况的top类工具。iotop具有与top相似的UI,其中包括PID、用户、I/O、进程等相关信息。...Linux下的IO统计工具如iostat,nmon等大多数是只能统计到per设备的读写情况,如果你想知道每个进程是如何使用IO的就比较麻烦,使用iotop命令可以很方便的查看。...Total DISK READ:总磁盘读 Actual DISK READ:实际磁盘读 Total DISK WRITE :总磁盘写入 Actual DISK WRITE:实际磁盘写入 TID列:进程PID...总结 iotop命令在排查服务器磁盘遇到读写瓶颈的时候可以很方便的找出具体是哪个进程占用I/O,非常有用的一个命令,建议收藏。 此文部分内容参考了:iotop命令

8K20

极限压榨elasticsearch写入速度

日志属于写多读少的业务场景,对写入速度要求很高。拿我们其中一个集群来说,单集群日志量达到百TB,每秒钟日志写入量达到10W条。...既然能很容易发现系统的瓶颈,那就着力去优化这个资源,极限压榨一下ES的写入速度。 本次优化的示例版本是7.9.2。ES的版本升的是真快,已经完全脱离了5的时代了。 ?...这是因为,我们把数据写到磁盘后,还要调用fsync才能把数据刷到磁盘中,如果不这样做在系统掉电的时候就会导致数据丢失。...xjjdog这里调整到了120s,减少了这些落到segment的频率,速度自然会快。...其实,可以通过配置多块磁盘的方式,来分散I/O的压力,但容易会造成数据热点集中在单块磁盘上。 Lucene的索引建立过程,非常耗费CPU,可以减少倒排索引的数量来减少CPU的损耗。

4.3K10

正确使用 dd 测试磁盘读写速度

问: 以下几种方式测试磁盘读写速度有什么区别?...也就是说,dd命令完成前并没有让系统真正把文件写到磁盘上。所以以上命令只是单纯地把这128MB的数据读到内存缓冲当中(写缓存[write cache])。所以你得到的将是一个超级快的速度。...因为其实dd给你的只是读取速度,直到dd完成后系统才开始真正往磁盘上写数据,但这个速度你是看不到了。所以如果这个速度很快,先不要偷着乐。...当sync命令准备开始往磁盘上真正写入数据的时候,前面dd命令已经把错误的“写入速度”值显示在屏幕上了。所以你还是得不到真正的写入速度。...也就是说,这条命令每次读取1M后就要先把这1M写入磁盘,然后再读取下面这1M,一共重复128次。这可能是最慢的一种方式了,因为基本上没有用到写缓存(write cache)。

6.9K60

wordpress速度优化-静态页写入内存

图片 昨天博客加了WP Super Cache缓存插件,速度提升明显。...幸运的是Linux系统为我们提供了这样的解决办法,那就是tmpfs文件系统,tmpfs可以直接使用内存,同时在内存不够时使用swap分区来存储。...(在应用商店-系统工具-Linux工具箱-内存盘) 图片 内存盘具有物理磁盘无法比拟的读写速度,但只能用于保存临时数据!...内存盘是直接将部分物理内存挂载为磁盘,请根据当前服务器内存使用情况合理安排挂载容量! 重启服务器,或卸载内存盘后,保存在该内存盘的数据将被清空!...硬盘缓存和内存缓存前后打开速度对比图(带缓存) 硬盘:2.93s 图片 内存:1.64s 图片 文章源自:钻芒博客 www.zuanmang.net

1.8K30

Linux磁盘配额

概念——磁盘配额是啥???...由于我们使用的Linux系统是多用户任务的操作系统(也就是说我们同一个系统下的多个用户共同使用着相同的硬盘空间),这就难免出现了多个用户共享磁盘的情况,这种情况会导致什么问题呢?...比如用户A在磁盘内存放了大型文件,导致用户B在需要存储文件时发现磁盘已经被写满无法进行保存…。那么如何使多个用户公平地分配磁盘空间呢?这就是磁盘配额要解决的问题。...实现磁盘配额需要什么前提条件呢? 1.需要Linux内核的支持。 2.安装quota软件包 在RHEL6系统中,磁盘配额的内核支持和quota软件包已经默认配置好了,所以我们不用另行设置。...磁盘配额有什么特点呢?

6.2K20

linux磁盘简介

本文主要从以下几个方面介绍Linux磁盘磁盘的接口 硬盘的设备名称 文件系统 RAID独立冗余磁盘阵列 磁盘的接口 现在磁盘最常用的可简单分为普通的机械盘和SSD(Solid-state drive...更多磁盘知识可参考Wiki百科。 硬盘设备名称 在linux中世界中,一切皆文件,设备也是文件。...它会把整个磁盘的每个写入 动作的细节都预先记录下来,以便在发生异常宕机后能回溯追踪到被中断的部分, 然后尝试进行修复。...计算机系统在发展过程中产生了众多的文件系统,为了使用户在读取或写入文件时不用关心底层的硬盘结构,Linux 内核中的软件层为用户程序提供了一个 VFS(Virtual File System, 虚拟文件系统...raid1 RAID1 称为镜像,它将数据完全一致地分别写到工作磁盘和镜像 磁盘,它的磁盘空间利用率为 50% 。RAID1 在数据写入时,响应时间会有所影响,但是读数据的时候没有影响。

7.7K30

Linux磁盘管理

磁盘管理的基本命令 Linux 磁盘管理命令有很多种,常用的有: df:查看磁盘使用情况 du:查看文件/文件夹占用空间大小 fdisk:磁盘分区工具 mount:挂载磁盘分区 umount:卸载磁盘分区...lsblk:查看块设备信息 parted:磁盘分区工具 gparted:图形界面磁盘分区工具 mkfs:格式化磁盘分区 tune2fs:修改 ext2/ext3/ext4 文件系统参数 fsck:磁盘文件系统检查工具...df命令 df命令是Linux系统中的一个常用命令,用于显示磁盘空间使用情况。它可以显示文件系统的总空间、已用空间、可用空间、使用率等信息。...使用df命令可以帮助用户了解磁盘空间的使用情况,以便及时进行磁盘清理或扩容等操作。 df命令有一些常用的参数,可以按需使用。...磁盘分区示例 fdisk -l # 这里的X需要更换具体的磁盘设备名称 fdisk /dev/sdX n 输入磁盘号码 给与磁盘大小 # 保存 w # 更新 partprobe 查看块设备信息lsblk

30430

linux 磁盘管理

linux中一个新硬盘要想使用,必须先对其进行分区,然后格式化,最后挂载,这是为什么呢? 为什么要进行磁盘分区?     便于硬盘的规划、文件的管理。    ...具体地说,它负责为用户建立文件,存入、读出、修改、转储文件,控 制文件的存取,安全控制,日志,压缩,加密等 磁盘为什么需要挂载? 这是由Linux的文件系统管理决定的。...首先,Linux将所有的硬件设备都当做文件来处理,因此当使用光驱等硬件设备时,必须将其挂载到系统中,只有这样Linux才能对磁盘上面的文件进行操作。...细讲磁盘分区: MBR模式分区规则 1.一块磁盘上主分区和扩展分区的个数总和不能超过4个 2.一块磁盘上最多只能有1个扩展分区 3.扩展分区中可以创建逻辑分区,个数限制视磁盘类型而定 操作: lsblk...细讲格式化: 格式化,又称逻辑格式化,它是根据用户选定的文件系统(如EXT2,EXT3,EXT4,NTFS,FAT32)在磁盘的特定区域写入特定数据,在分区中划分出一块存放文件分配表,目录表等用于文件管理的磁盘空间

6.8K30

图解MySQL | MySQL insert 语句的磁盘写入之旅

---- 一条 insert 语句在写入磁盘的过程中到底涉及了哪些文件?顺序又是如何的? 下面我们用两张图和大家一起解析 insert 语句的磁盘写入之旅。 图 1:事务提交前的日志文件写入 ?...旅途过程: 首先 insert 进入 server 层后,会进行一些必要的检查,检查的过程中并不会涉及到磁盘写入。 检查没有问题之后,便进入引擎层开始正式的提交。...我们知道 InnoDB 会将数据页缓存至内存中的 buffer pool,所以 insert 语句到了这里并不需要立刻将数据写入磁盘文件中,只需要修改 buffer pool 当中对应的数据页就可以了。...(redo log 是顺序写入,相比直接修改数据文件,redo 的磁盘写入效率更加高效) 如果开启了 binlog 日志,我们还需将事务逻辑数据写入 binlog 文件,且为了保证复制安全,建议使用 sync_binlog...insert buffer 背景 InnoDB 的数据是根据聚集索引排列的,通常业务在插入数据时是按照主键递增的,所以插入聚集索引一般是顺序磁盘写入

4.1K32
领券