早期硬盘每个扇区以512字节为标准。新一代硬盘扇区容量为4096个字节,也就是所说的4k扇区。 硬盘标准更新,但操作系统一直使用的是512字节扇区的标准,所以硬盘厂商为了保证兼容性,把4k扇区模拟成512字节扇区。 通常文件系统的块(簇)是512字节的倍数,新的系统基本上都设成了4k的倍数。比如Linux的簇一般也是4k。 簇到扇区的映射关系变成了 簇(4k)->512B扇区->4k扇区,这就可能造成簇到扇区映射错位。
参考博客: http://lilinji.blog.51cto.com/5441000/1569623
通过讲解如何优雅扩容云硬盘,我们了解了云盘连接到服务器上的具体操作过程。那么,如何进一步了解已挂载硬盘的实际性能呢?你或许会疑惑,测试硬盘性能,为什么不能用Linux系统自带的dd工具呢?而且不少人之前都这么用的:
有关Windows磁盘性能压测,笔者还是强烈推荐使用微软自己开源的压测工具DiskSpd。当然,如果要使用其他磁盘性能压测工具也是可以的,比如:IOMeter(老牌经典)、FIO(更适合Linux)等。
云硬盘是一种高可用、高可靠、低成本、可定制化的网络块存储,可作为云服务器的独立可扩展硬盘使用。它提供数据块级别的数据存储,采用三副本的分布式机制,为云服务器提供数据可靠性保证。云硬盘提供以下 SSD 云硬盘、高性能云硬盘及普通云硬盘三种云硬盘类型,不同的硬盘类型、性能、特点和价格均不同。
相信大家都知道固态硬盘(SSD)的优势在于速度比传统的机械硬盘(HDD)要快,所以现在线上服务器里越来越多看到固态硬盘的出现。不过作为一个对性能数字斤斤计较的开发,我想更精确地弄明白搭载SSD的服务器在IO性能上比搭载HDD的究竟快多少,顺序IO情况下快多少,随机IO情况下又能快多少?终于在最近抽空搞了一次性能测试对比。
放在五年前,SSD (Solid State Drive,固态硬盘)对大多数人而言仍然是一个新兴的陌生产品, 他们不太明白这个又贵又小的硬盘能够给电脑带来什么样的体验。然而时至今日,SSD 已经成为了中高端电脑的标配。甚至对于入门级配置而言,SSD 还是 HDD 的区别已经取代了传统三大件,直接影响着整机运行速度。适逢最近 SSD 降价,不少朋友都有来咨询 reizhi 有关 SSD 的一些问题,这边便汇聚成文,一起总结一下。
维持了 20 天的复赛终于告一段落了,国际惯例先说结果,复赛结果不太理想,一度从第 10 名掉到了最后的第 36 名,主要是写入的优化卡了 5 天,一直没有进展,最终排名也是定格在了排行榜的第二页。痛定思痛,这篇文章将自己复赛中学习的知识,成功的优化,未成功的优化都罗列一下。
前言: 简单看了一下glusterfs,使用单节点构造glusterfs环境,导出的路径是是本地SSD在分区上。用qemu挂载glusterfs上的卷,用FIO测试IOPS,测试结果不理想。 大致分析了一下,怀疑fuse会导致性能下降。 分析: 1,libfuse & fuse 为了方便测试和便于分析问题,使用了libfuse。代码地址https://github.com/libfuse/libfuse 编译libfuse比较麻烦,不支持Makefile,需要用meson编译,而且meson的版本要求比较高,不能用apt-get直接安装。操作方法就是下载高版本的meson包,在meson包里面执行python3 setup.py install。 除了用户态的libfuse之外,还需要kernel支持。作者在Ubuntu1804上测试,fuse已经被编译到kernel中。在config文件(内核配置文件即ls /boot/config-`uname -r`)中CONFIG_FUSE_FS。如果是kmod的方式编译,执行modprobe fuse。
怎样去 DIY 一台主机呢?它可以满足自己的工作、游戏需求,还要颜值高、噪音小、最重要的是价格要便宜,质量要好。
很久以前喜欢捣鼓电脑啊外设什么的,却也没有搞出什么名堂。经常见到标题里的一些术语,却也只是一知半解。最近在复习操作系统,对以往的瞎捣鼓小有感触和总结。故写下此文。
dd 也是我们经常使用到的磁盘测试工具,Linux服务器装好系统之后,想要知道硬盘的读写是否能满足服务的需要,如果不满足硬盘的IO就是服务的一个瓶颈。我们可以使用dd命令简单进行测试,更为专业的测试可以使用上面描述的fio 工具:
bcache 需要编译最新的内核,要求比较高,配置比较复杂,目前主要用于测试环境;
http://tapd.oa.com/Greenplum/markdown_wikis/view/#1010134541008425443
IDO-SOM3908-V1 是基于 RK3399 系列 CPU 开发设计的一款高性能核心板,双 Cortex-A72 大核+四 Cortex-A53 小核,六核 64 位 CPU,搭载 Android7.1/LINUX 系统,主频高达 2.0 GHz,采用 Mali-T864 GPU,支持 4K、H.265 硬解码。核心板内置 EDP、MIPI-DSI、HDMI、DP 显示接 口。并且还带有 2 路 MIPI-CSI 以及千兆 RGMII 等。其接口丰富,性能更强,速度更快。
固态硬盘就是用固态电子存储芯片阵列而制成的硬盘,相对于机械硬盘,固态硬盘的读写速度更快,但是固态硬盘的缺点是寿命不如机械硬盘。
单个IO大小 | 寻道时间(ms) | 旋转延迟(ms) | c传输时延(ms) | IO服务时间(ms) | IOPS
IDO-SBC3958-V1A适用于工业主机,嵌入式智能设备、人机交互、 广告一体机、互动自助终端、教学实验平台、显示控制等多个领域。
在SAN存储系统中,LIO是把存储设备直接转化为可用存储资源的高效工具,它实现了基于文件/块设备/ramdisk甚至回环设备创建存储设备的iscsi
是否使用 direct io,测试过程不使用OS 自带的buffer,使测试磁盘的结果更真实。Linux读写的时候,内核维护了缓存,数据先写到缓存,后面在后台写到SSD。读的时候也优先读缓存里的数据。这样速度可以加快,但是一旦掉电,缓存里的数据就没有了。所以有一种模式叫做direct io,跳过缓存,直接读写SSD。
1、背景:为什么要 4K 对齐 簇是系统在硬盘上读写文件时的单位,是一个数据块(逻辑概念)。而扇区是硬盘划分的最小单位值,就是簇(数据块)占用的地方(物理概念)。NTFS对于大于2GB的分区,默认簇大小为8个扇区(4KB)。 绝大多数的机械硬盘默认是512字节的扇区,采用的是DRAM作为存储介质; 而机械硬盘,无论是SLC颗粒还是MLC颗粒,都属于NAND闪存存储单元。 这种硬盘的扇区是4K,这就是4K的由来。 NTFS格式有一个特性,那就是起始簇的位置! NTFS分区起始位置不是从0开始,而是从L
David Cardinal是一名专业摄影师和技术专家,他有十年的数码旅行和自然摄影师的经验,并在高科技领域具备20多年软件开发经验。今天,他要来介绍,如何使用Nvidia Jetson Nano构建网络视频录像机。
目录 前言 文件系统结构 新建文件和inode 文件创建过程 inode解析 打开文件 参考 最后 ---------- 前言 这次来说文件系统. 文件系统是非常重要的, 提高磁盘使用率, 减小磁盘磨损等等都是文件系统要解决的问题. 市面上的文件系统也是数不胜数, 比较常用的像ext4, xfs以及ntfs等等, 国内的像鹅厂的tfs, 然后还有sun号称"last word in file system"的ZFS, 学习ZFS而来的btrfs. 下面上一张Linux文件系统组件的体系结构图, 是我整合了多
fio --name=RR --filename=/dev/sda --ioengine=libaio --direct=1 --thread=1 --numjobs=1 --iodepth=128 --rw=randread --bs=4k --runtime=5m --time_based=1 --group_reporting >> 4k_rand_read.log
目录 前言 文件系统结构 新建文件和inode 文件创建过程 inode解析 打开文件 参考 最后 ---- 前言 这次来说文件系统. 文件系统是非常重要的, 提高磁盘使用率, 减小磁盘磨损等等都是文件系统要解决的问题. 市面上的文件系统也是数不胜数, 比较常用的像ext4, xfs以及ntfs等等, 国内的像鹅厂的tfs, 然后还有sun号称"last word in file system"的ZFS, 学习ZFS而来的btrfs. 下面上一张Linux文件系统组件的体系结构图, 是我整合了多
今天很荣幸能给大家分享从去年开始到今年,我们在研发一款新产品碰到的一些问题。希望作为LiveVideoStackCon2020北京站大会唯一跟硬件强相关的一个话题,能够给大家一些不同的认知。
说到美光科技大家一定都不陌生,其内存以及闪存产品在国内拥有不少的市场份额,reizhi 的第一块固态硬盘便是英睿达 M4。不过少有人知的是,除了英睿达品牌外,美光也有同名品牌的 SSD 产品线,主要服务于企业产品线。近日 reizhi 就通过海淘途径购入了一块美光 Micron 1100 2TB,作为美光品牌的首款消费级 3D NAND 产品,我们不妨来看看它的性能表现。
全球的缺芯风潮愈演愈烈,也让很多中国人开始关注起芯片。谈到中国的国产CPU,很多人都恨铁不成钢,“泱泱大国,怎么小小的芯片也做不好?人家的芯片都做到i9了,你们怎么还只有i5的水平?”
腾讯云云服务器:https://curl.qcloud.com/U9i22oWO 腾讯云云硬盘:https://console.cloud.tencent.com/cvm/cbs 在大家购买云服务器时,会对服务器进行配置,例如实例选项,硬盘大小,但是大家是否有去关注过云硬盘的选型呢?如下表所示,腾讯云云硬盘共有5个规格,按性能比较,从低到高分别为:高性能云硬盘、通用型 SSD 云硬盘、SSD 云硬盘、增强型 SSD 云硬盘、极速型 SSD 云硬盘
rpmbuild --rebuild iomemory-vsl-3.2.4.1086-1.0.el6.src.rpm
作为全球最大的闪存制造商,SanDisk 的存储产品线非常完整,时下最火的 SSD 固态硬盘产品也不例外。目前国内零售渠道主要有SSD PLUS,Ultra II,Extreme PRO 三个系列。其中 SSD PLUS 为入门级产品,主攻性价比市场;Ultra II 为主流级产品,在中端价位上提供不俗的性能;Extreme PRO 则是专门为高端玩家准备的旗舰级产品,性能价格齐飞。
如果你追求高效性能,那高性能CPU、大容量内存,以及超强显卡是必不可少的。但要发挥这些部件的性能,必须还要有更快的硬盘与之匹配。毕竟,尽管处理器每秒可以处理数十亿个周期数据,但它会花费大量时间等待硬盘驱动器为其提供数据。而要获得最佳性能,此时需要一个优质的SSD固态硬盘,因为SSD固态硬盘具有传统机械硬盘不具备的快速读写、质量轻、能耗低以及体积小等特点,但不少用户对SSD固态硬盘的选购缺乏基本常识。所以今天小编就会详细的为大家介绍下固态硬盘
https://help.aliyun.com/document_detail/147897.html
本文讲述架构平台部 TVideo平台从资源,链路、缓存、接入进行调优,有效解决4k高码率视频的二次缓冲问题。
作为一名DaVinci软件的使用者,我认为这是一款非常强大且易于使用的视频编辑软件。在我使用DaVinci软件的过程中,我深深地体会到了这款软件的各种功能和优点,下面我将分享一些我使用DaVinci软件的心得体会。
传统的存储设备例如HDD,SSD,nvme,SAN LUNS等以blocks为单位提供存储功能。Block以字节为单位的可寻址存储单元。传统的硬盘的block大小是512字节。Newer设备通常是4K或者8K,但也可以选择逻辑/模拟的512字节的block。
cgroup还有其他一些限制特性,如io,pid,hugetlb等,这些用处不多,参见Cgroupv1。下面介绍下与系统性能相关的io和hugepage,cgroup的io介绍参考Cgroup - Linux的IO资源隔离
此帖记录用SN550 1T(709元)+Acasis雷电3硬盘盒(389元团购买的)安装WTG的记录。
作为目前数据库引擎的两种主要数据结构,LSM-tree和B+-tree在业界已经有非常广泛的研究。相比B+-tree,LSM-tree牺牲一定的读性能以换取更小的写放大以及更低的存储成本,但这必须建立在已有的HDD和SSD的基础上。 探索前沿研究,聚焦技术创新,本期DB·洞见由腾讯云数据库高级工程师王宏博进行分享,主要介绍一篇2022年FAST的论文,主题为“基于硬件透明压缩的B+树优化”。本次分享的论文针对可计算存储SSD(支持硬件透明压缩)提出了三种有趣的设计方法,从而极大地减少了B+-tree的写放大
3个机柜,每个机柜15台机器,总共45台,需要在RBD场景下,找到成本、性能、数据可靠性的三者平衡点。
现在是一个数据爆炸的时代,游戏厂商所制作的游戏容量越来越大,短视频风靡我们拍出来的短片越来越多,生活工作中的重要资料更是要好好保存。所以移动硬盘是必备的,一款高速、轻薄、大存储的移动硬盘能改变我们的存储生活。这次入手这款WD My Passport随行版移动硬盘外观设计小巧轻薄,同时读写速度都在100MB/S左右,还有密码保护功能,快节奏的工作中提高效率全靠它。
参考来源:https://gist.github.com/jboner/2841832
几年前,用Proxmox Virtual Environment(一个VMWare Vsphere的开源替代,以后简称PVE)搭建了一个测试云平台,使用了PVE自带的分布式存储Ceph。加上PVE自带的KVM虚拟机和LXC容器,再配置了虚拟交换机Open vSwitch,勉强算是一个所谓的超融合构架。
优化操作系统的参数可以充分利用硬件的性能。 组件 配置 默认值 是否启用 CPU 关闭CPU节能模式 - - CPU 使用Cgroup绑定Ceph OSD进程到固定的CPU 无 无 RAM 关闭NUMA 开启 是 RAM 关闭虚拟内存 无 是 网卡 设置为大帧模式 无 无 SSD 分区4k对齐 无 无 SSD 调度算法为noop 无 无 SATA/SAS 调度算法为deadline 无 无 文件系统 使用XFS 无 是 文件系统 挂载参数为noatime 无 无 ulimit 调高ulimit 1024 1
在上一篇文章中,我们已经知道了 VSAN 是如何处理容量设备和缓存设备磁盘故障的,那么,如果vsan主机发生故障,会如何呢?我们再来看看下面这幅图:
作为国内第一N卡厂商,影驰如今在SSD固态硬盘领域也是如鱼得水,拥有HOF、GAMER、将三大系列产品线,已经进入国内第一集团品牌行列。 现在,主打性价比的将系列又推出旗下影驰最大容量SSD,容量达到
领取专属 10元无门槛券
手把手带您无忧上云