参考博客： http://lilinji.blog.51cto.com/5441000/1569623
介绍：FIO是测试IOPS的非常好的工具，用来对硬件进行压力测试和验证，支持多种不同的I/O引擎，包括:sync,mmap, libaio, posixaio, SG v3, splice, null, network, syslet, guasi, solarisaio 等等
早期硬盘每个扇区以512字节为标准。新一代硬盘扇区容量为4096个字节，也就是所说的4k扇区。 硬盘标准更新，但操作系统一直使用的是512字节扇区的标准，所以硬盘厂商为了保证兼容性，把4k扇区模拟成512字节扇区。 通常文件系统的块（簇）是512字节的倍数，新的系统基本上都设成了4k的倍数。比如Linux的簇一般也是4k。 簇到扇区的映射关系变成了 簇（4k）->512B扇区->4k扇区，这就可能造成簇到扇区映射错位。
目前主流的第三方IO测试工具有fio、iometer和Orion，这三种工具各有千秋。
有关Windows磁盘性能压测，笔者还是强烈推荐使用微软自己开源的压测工具DiskSpd。当然，如果要使用其他磁盘性能压测工具也是可以的，比如：IOMeter（老牌经典）、FIO（更适合Linux）等。
虚拟内存是将硬盘规划出一个区间用来读取数据的空间，建立虚拟内存可以提高服务器的运行效率。目前，大多数服务器操作系统都使用了虚拟内存，Windows系统一般称为“虚拟内存”;而Linux称作“交换空间”。 这里主要讲解Linux系统如何建立虚拟内存。
云硬盘是一种高可用、高可靠、低成本、可定制化的网络块存储，可作为云服务器的独立可扩展硬盘使用。它提供数据块级别的数据存储，采用三副本的分布式机制，为云服务器提供数据可靠性保证。云硬盘提供以下 SSD 云硬盘、高性能云硬盘及普通云硬盘三种云硬盘类型，不同的硬盘类型、性能、特点和价格均不同。
dd 是 Linux/UNIX 下的一个非常有用的命令，作用是用指定大小的块拷贝一个文件，并在拷贝的同时进行指定的转换。
早于windows 2008 的windows系统，2010年以前的linux系统，第一个分区的扇区是磁盘第63扇区，并且扇区尺寸是是512byte，这个是历史的原因，硬盘必须将cylinder / head / sector (CHS) 信息报告给BIOS，这个信息在现代的操作系统是无意义的，但是磁盘依然报告给bios每个磁盘轨道有63个扇区，因此操作系统依然将第一个分区的开始位置放置到第一个磁盘轨道上，在第63个扇区开始。
randrepeat=boolForrandomIOworkloads,seedthegeneratorinapredictablewaysothatresultsarerepeatableacrossrepetitions.Defaultstotrue.randseed=intSeedtherandomnumbergeneratorsbasedonthisseedvalue,tobeabletocontrolwhatsequenceofoutputisbeinggenerated.Ifnotset,therandomsequencedependsontherandrepeatsetting.fallocate=strWhetherpre-allocationisperformedwhenlayingdownfiles.Acceptedvaluesare:noneDonotpre-allocatespaceposixPre-allocateviaposix_fallocate()keepPre-allocateviafallocate()withFALLOC_FL_KEEP_SIZEset0Backward-compatiblealiasfor'none'1Backward-compatiblealiasfor'posix'Maynotbeavailableonallsupportedplatforms.'keep'isonlyavailableonLinux.IfusingZFSonSolaristhismustbesetto'none'becauseZFSdoesn't support it. Default: 'posix'. fadvise_hint=bool By default, fio will use fadvise() to advise the kernel on what IO patterns it is likely to issue. Sometimes you want to test specific IO patterns without telling the kernel about it, in which case you can disable this option. If set, fio will use POSIX_FADV_SEQUENTIAL for sequential IO and POSIX_FADV_RANDOM for random IO. fadvise_stream=int Notify the kernel what write stream ID to place these writes under. Only supported on Linux. Note, this option may change going forward. size=int The total size of file io for this job. Fio will run until this many bytes has been transferred, unless runtime is limited by other options (such as 'runtime', for instance, or increased/decreased by 'io_size'). Unless specific nrfiles and filesize options are given, fio will divide this size between the available files specified by the job. If not set, fio will use the full size of the given files or devices. If the files do not exist, size must be given. It is also possible to give size as a percentage between 1 and 100. If size=20% is given, fio will use 20% of the full size of the given files or devices. io_size=int io_limit=int Normally fio operates within the region set by 'size', which means that the 'size' option sets both the region and size of IO to
dd bs=64k count=4k if=/dev/zero of=test oflag=dsync（这种方法是最严格的，可以模拟数据库的插入操作，所以很慢，也是用来测试vps硬盘性能标准的一条标杆，一般来说测试结果，如果超过10M，对正常建站就无影响。超过50M，就是非常给力状态，看了这个vps硬盘性能非常的好，DD速度达到了78.9MB/s。）
2、fio测试建议在空闲的、未保存重要数据的硬盘上进行，并在测试完后重新制作文件系统。请不要在业务数据硬盘上测试，避免底层文件系统元数据损坏导致数据损坏。
先解释下什么是dd命令，dd是 Linux/UNIX 比较有用的命令之一，是用来指定块进行拷贝，并在拷贝的时候指定转换。
https://help.aliyun.com/document_detail/147897.html
Ceph，作为一个高度可扩展的分布式存储系统，已经成为云计算和大数据时代的关键基石。随着企业和组织对数据存储的需求日益增长，Ceph 通过其强大的特性，如可靠性、伸缩性和性能，满足了这些需求。然而，随着集群规模的扩大和工作负载的多样性，如何确保资源的有效分配和性能隔离成为了一个重要议题。在这个背景下，Ceph 的 Quality of Service (QoS) 功能显得尤为重要。
dd 也是我们经常使用到的磁盘测试工具，Linux服务器装好系统之后，想要知道硬盘的读写是否能满足服务的需要，如果不满足硬盘的IO就是服务的一个瓶颈。我们可以使用dd命令简单进行测试，更为专业的测试可以使用上面描述的fio 工具：
很久以前喜欢捣鼓电脑啊外设什么的，却也没有搞出什么名堂。经常见到标题里的一些术语，却也只是一知半解。最近在复习操作系统，对以往的瞎捣鼓小有感触和总结。故写下此文。
fio --name=RR --filename=/dev/sda --ioengine=libaio --direct=1 --thread=1 --numjobs=1 --iodepth=128 --rw=randread --bs=4k --runtime=5m --time_based=1 --group_reporting >> 4k_rand_read.log
cpu型号： Intel(R) Xeon(R) CPU E5-2630 v4 @ 2.20GHz cpu核数： 40 硬盘： hdd
1.缓冲 I/O，是指利用标准库缓存来加速文件的访问，而标准库内部再通过系统调度访问文件。
昨天下午，旁边的同事在学习Linux系统中的虚拟地址映射(经典书籍《程序员的自我修养-链接、装载与库》)，在看到6.4章节的时候，对于一个可执行的ELF文件中，虚拟地址的值百思不得其解！
当我们碰到数据库响应慢的时候，除了数据库自己的问题，磁盘读写可能是其中一个值得怀疑的因素，此时就可以用dd来测试磁盘的读写速度。
是否使用 direct io，测试过程不使用OS 自带的buffer，使测试磁盘的结果更真实。Linux读写的时候，内核维护了缓存，数据先写到缓存，后面在后台写到SSD。读的时候也优先读缓存里的数据。这样速度可以加快，但是一旦掉电，缓存里的数据就没有了。所以有一种模式叫做direct io，跳过缓存，直接读写SSD。
前面系列已经讲完了硬件选型、部署、调优，在上线之前呢需要进行性能存储测试，本章主要讲述下测试Ceph的几种常用工具，以及测试方法。
Fio（Flexible I/O Tester） 是一款由 Jens Axboe 开发的用于测评和压力/硬件验证的自由开源的软件。它支持 19 种不同类型的 I/O 引擎 (sync、mmap、libaio、posixaio、SG v3、splice、null、network、 syslet、guasi、solarisaio，以及更多)， I/O 优先级（针对较新的 Linux 内核），I/O 速度，fork 的任务或线程任务等等。它能够在块设备和文件上工作。
说明 不得使用本软件发布违反国家法律的非法广告信息,如色情，赌博等，其造成的一切后果与本作者无关 请自觉营造和谐良性的网络营销环境 违法行为一经发现 ,本作者有权终止服务并追究法律责任 本工具仅用于测试学习使用 本网站有部分内容来自互联网，如无意中侵犯了哪个媒体 、公司 、企业或个人等的知识产权，请来电或致函告之，本网站将在规定时间内给予删除等相关处理，若有涉及版权费等问题，请及时提供相关证明等材料并与我们联系，通过友好协商公平公正原则处理纠纷。 import re import reques
1、背景：为什么要 4K 对齐 簇是系统在硬盘上读写文件时的单位，是一个数据块（逻辑概念）。而扇区是硬盘划分的最小单位值，就是簇（数据块）占用的地方（物理概念）。NTFS对于大于2GB的分区，默认簇大小为8个扇区（4KB）。 绝大多数的机械硬盘默认是512字节的扇区，采用的是DRAM作为存储介质; 而机械硬盘，无论是SLC颗粒还是MLC颗粒，都属于NAND闪存存储单元。 这种硬盘的扇区是4K，这就是4K的由来。 NTFS格式有一个特性，那就是起始簇的位置! NTFS分区起始位置不是从0开始，而是从L
磁盘格式化 Centos7支持的文件系统格式： [root@xie-02 ~]# cat /etc/filesystems xfs //Centos7默认的文件系统，根/和/boot都是xfs ext4 //Centos6 ext3 //Centos5 ext2 nodev proc nodev devpts iso9660 vfat hfs hfsplus * [root@xie-02 ~]# xfs和ext差不多 命令mount可查看分区的系统格式 格式化命令：mk
本篇文章是性能篇的最后一篇文章，算是一个学习笔记吧，当中的例子也是从别的文章里面摘录的，主要用来讲解如何使用和查看对应的指标。这一篇主要介绍文件系统，说的更加具体点其实是磁盘这个点。
固态硬盘就是用固态电子存储芯片阵列而制成的硬盘，相对于机械硬盘，固态硬盘的读写速度更快，但是固态硬盘的缺点是寿命不如机械硬盘。
mon组件部署： ceph-xxx-osd00, ceph-xxx-osd01, ceph-xxx-osd02 osd组件部署： ceph-xxx-osd00, ceph-xxx-osd01, ceph-xxx-osd02，ceph-xxx-osd03, ceph-xxx-osd04 磁盘： SATA ceph版本： ceph 12.2.2 bluestore
前言： 简单看了一下glusterfs，使用单节点构造glusterfs环境，导出的路径是是本地SSD在分区上。用qemu挂载glusterfs上的卷，用FIO测试IOPS，测试结果不理想。 大致分析了一下，怀疑fuse会导致性能下降。 分析： 1，libfuse & fuse 为了方便测试和便于分析问题，使用了libfuse。代码地址https://github.com/libfuse/libfuse 编译libfuse比较麻烦，不支持Makefile，需要用meson编译，而且meson的版本要求比较高，不能用apt-get直接安装。操作方法就是下载高版本的meson包，在meson包里面执行python3 setup.py install。 除了用户态的libfuse之外，还需要kernel支持。作者在Ubuntu1804上测试，fuse已经被编译到kernel中。在config文件（内核配置文件即ls /boot/config-`uname -r`）中CONFIG_FUSE_FS。如果是kmod的方式编译，执行modprobe fuse。
FIO是测试IOPS的非常好的工具，用来对硬件进行压力测试和验证。磁盘IO是检查磁盘性能的重要指标，可以按照负载情况分成照顺序读写，随机读写两大类。
1997年4月，Pavel Machek 写了他的网络块设备代码，并被当时的Linux Kernel 2.1.55接受。Pavel 在随后的四个发行版（对应的内核版本为55、101、111、132）中维护并升级了他的代码。Andrzej M. Krzysztofowicz贡献了64位机上运行的版本，随后Stephen Tweedie 为其提出了许多的专业建议，尤其是引入了基于信号量的锁机制，使得代码在对称多处理器系统中能够安全的运行。作者们已将其增强以便于运用于工业环境之中。本文描述了网络块设备、驱动、以及
在ZYNQ的地址分配中，可以将每一个Slave接口定义为一个存储器映射，其由一个或多个地址块（目前只遇到过一个地址块），存储区和子空间映射元素组成，可以通过从属接口访问存储器映射（典型的比如DMA应用）。
参考文档 http://docs.ceph.com/docs/master/start/quick-start-preflight/#rhel-centos https://www.linuxidc.com/Linux/2017-09/146760.htm http://s3browser.com/ http://docs.ceph.org.cn/man/8/rbd/ https://hub.packtpub.com/working-ceph-block-device/# https://github.co
怎样去 DIY 一台主机呢？它可以满足自己的工作、游戏需求，还要颜值高、噪音小、最重要的是价格要便宜，质量要好。
TuxResponse是一款采用Bash语言开发编写的专门针对Linux系统平台的事件响应脚本。它可以在Linux系统上以自动化的形式执行各种事件响应任务，以帮助安全分析人员快速对系统中的安全应急事件进行分类，同时不会影响最终的处理结果。当然了，通常情况下公司或企业的系统中都会部署一些安全监视和控制软件，但由于存在各种非标准镜像以及其他网络组件，因此TuxResponse便应运而生。在TuxResponse的帮助下，研究人员只需按一下按钮，就可以完成10个命令的输入和测试。
1、登录Terminal，执行：cat /proc/cpuinfo，就会显示出主机的CPU详细参数，如内核、频率、型号等等，以下是我Linux 系统主机的CPU：
注：本分类下文章大多整理自《深入分析linux内核源代码》一书，另有参考其他一些资料如《linux内核完全剖析》、《linux c 编程一站式学习》等，只是为了更好地理清系统编程和网络编程中的一些概念性问题，并没有深入地阅读分析源码，我也是草草翻过这本书，请有兴趣的朋友自己参考相关资料。此书出版较早，分析的版本为2.4.16，故出现的一些概念可能跟最新版本内核不同。
Fio（Flexible I/O Tester） 是一款由 Jens Axboe 开发的用于测评和压力/硬件验证的自由开源的软件。
【GiantPandaCV导读】在使用大的bs训练情况下，会对精度有一定程度的损失，本文探讨了训练的bs大小对精度的影响，同时探究Layer-wise Adaptive Rate Scaling（LARS）是否可以有效的提升精度。
通过讲解如何优雅扩容云硬盘，我们了解了云盘连接到服务器上的具体操作过程。那么，如何进一步了解已挂载硬盘的实际性能呢？你或许会疑惑，测试硬盘性能，为什么不能用Linux系统自带的dd工具呢？而且不少人之前都这么用的：
BIOS全称：Basic Input Output System（基本输入输出系统）。它是一组固化到计算机主板上的一个ROM芯片程序 ，保存着计算机最重要的基本输入输出的程序、开机后自检程序和系统自启动程序，它可从CMOS中读写系统设置的具体信息。也是电脑在系启动过程中加载的第一个软件。BIOS可以说是连接软件与硬件的一座“桥梁”，是计算机启动过程中运行的第一个程序，主要功能是为计算机提供最底层的、最直接的硬件设置和控制，同时也只有在开机时才能进入设置界面。
几年前，用Proxmox Virtual Environment（一个VMWare Vsphere的开源替代，以后简称PVE）搭建了一个测试云平台，使用了PVE自带的分布式存储Ceph。加上PVE自带的KVM虚拟机和LXC容器，再配置了虚拟交换机Open vSwitch，勉强算是一个所谓的超融合构架。
4K美女壁纸爬取 一、前言 拍了zhenguo的课程，今天继续学习课程同时，尝试使用BeautifulSoup4这个网页解析的方法爬取图片，看完后心血来潮，想自己也试一下。 爬完后并总结这篇投稿给zhenguo，奖励我50元稿费，很开心。 最先想到的是彼岸图网，这个网站上有很多4k壁纸，打开网页后，我选择了4k美女壁纸作为本次爬虫的目标，爬取到的图片截图如下： 二、过程 1.首先，我们拿到前三页的网页地址。 2.通过分析可以看出，当页面变化时，index后面会发生改变，但在第一页时并没有数字显示，所以
传统的存储设备例如HDD，SSD，nvme，SAN LUNS等以blocks为单位提供存储功能。Block以字节为单位的可寻址存储单元。传统的硬盘的block大小是512字节。Newer设备通常是4K或者8K，但也可以选择逻辑/模拟的512字节的block。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
