有很多的图形化工具可以用来创建临场live USB 驱动器。Linux 上的 Etcher 可能是最受欢迎的。为此，Ubuntu 也开发了自己的启动盘创建工具。
dd 也是我们经常使用到的磁盘测试工具，Linux服务器装好系统之后，想要知道硬盘的读写是否能满足服务的需要，如果不满足硬盘的IO就是服务的一个瓶颈。我们可以使用dd命令简单进行测试，更为专业的测试可以使用上面描述的fio 工具：
Explanation of the dd command for live USB creation
先解释下什么是dd命令，dd是 Linux/UNIX 比较有用的命令之一，是用来指定块进行拷贝，并在拷贝的时候指定转换。
参考文档 http://docs.ceph.com/docs/master/start/quick-start-preflight/#rhel-centos https://www.linuxidc.com/Linux/2017-09/146760.htm http://s3browser.com/ http://docs.ceph.org.cn/man/8/rbd/ https://hub.packtpub.com/working-ceph-block-device/# https://github.co
Trusted Firmware-A（TF-A）是用于 Arm A-Profile 体系结构（Armv8-A 和 Armv7-A）的安全世界软件的参考实现，其中包括 Exception Level 3（EL3）安全监视器。它为在 AArch32 或 AArch64 执行状态下的安全世界启动和运行时固件产品化提供了一个合适的起点。
在使用 docker 容器的时候，我们总会想看看容器内部长什么样子：我们使用 docker exec 命令可以满足我们的期望：
本文最初发布于 Confluent 官方博客，经授权由 InfoQ 中文站翻译并分享。
有时候需要测试磁盘读写速度，或者临时读写文件，不想临时写代码？有没有测试使用的命令？当然有！
写：dd if=/dev/urandom of=/mnt/UDISK/dd.tmp conv=fsync
这里我们使用术语“缓冲”(一般为buffer)来表示对数据写的暂存，使用术语“缓存”(一般为cache)来表示对数据读的暂存。顾名思义，由于底层存储设备和内存之间速率的差异，缓冲是用来暂“缓”对底层存储设备IO的“冲”击。缓存主要是在内存中暂“存”从磁盘读到的数据，以便接下来对这些数据的访问不用再次访问慢速的底层存储设备。
这次就来准备搭建一下T113i的开发环境，其实对于初入门的Linux开发者而言，开发环境的搭建真的也是一大课题，有时候甚至要耗费相当多的时间搭建环境，配置环境，配置工具等等。因此这部分是否能方便快捷，至少能顺利搭建也成了一大关键。而我也算是作为初入门的Linux开发者，本次也难免要经历这个过程。 Linux的开发环境一般使用Linux机器进行开发编译等工作，这个Linux机器可以是实体机，也可以是虚拟机，飞凌官方已经将虚拟机和整个开发环境，包括需要用到的一些工具等都打包起来了，很方便。但现在Windows已经支持WSL，之前熟悉其它Linux芯片开发的时候也尝试过，也是非常方便，不用额外再增加安装虚拟机了，因此这次也打算尝试一下。本机已经安装了如下的Ubuntu-20.04版本
ApacheKafka是最流行的事件流处理系统。在这个领域中有很多同类的系统可以拿来比较。但是最关键的一点就是性能。Kafka以速度著称，但是，它现在能有多快，以及与其他系统相比又如何呢？我们决定在最新的云硬件上测试kafka的性能。 为了进行比较，我们选择了传统的消息broker RabbitMQ和基于Apache Bookeeper的消息broker Apache Pulsar。我们要关注以下几点，1.系统吞吐量。2.系统延迟。因为他们是生产中事件流系统的主要性能指标，特别是吞吐量测试测量每个系统在利用硬件（特别是磁盘和CPU）方面的效率。延迟测试测量每个系统交付实时消息的延迟程度，包括高达p99.9%的尾部延迟，这是实时和任务关键型应用程序以及微服务体系结构的关键需求。 我们发现Kafka提供了最好的吞吐量，同时提供了最低的端到端延迟，最高达到p99.9的百分比。在较低的吞吐量下，RabbitMQ以非常低的延迟交付消息。
dd 可从标准输入或文件中读取数据，根据指定的格式来转换数据，再输出到文件、设备或标准输出。
redis.conf中的appendfysnc是对redis性能有重要影响的参数之一。可取三种值：always、everysec和no。
今天早晨遇到一个Redis的线上的问题，也算是一个Redis的经典问题了，这里记录下分析和排查过程，希望对大家有所帮助。
1、登录Terminal，执行：cat /proc/cpuinfo，就会显示出主机的CPU详细参数，如内核、频率、型号等等，以下是我Linux 系统主机的CPU：
c语言libc库自带的fflush和linux的sync、fsync、fdatasync，字面上都是刷新缓冲区数据到磁盘（当然，fflush还可以刷新缓冲区数据到标准输入、输出以及错误输出）。下面就分析一下上面提到的四个函数的区别。 一、c语言fflush和linux的sync、fsync、fdatasync的区别 1.接口基本不同 fflush是libc库中提供的函数，平台无关，只有在你使用到c语言的标准文件（FILE）操作时，才涉及fflush。 sync、fsync、fdatasync是系统提
Mysql错误日志： Version: '5.1.34-percona-highperf-log' socket: '/home/mysql/mysql.sock' port: 3306 Source distribution 140324 5:00:02 InnoDB: Failed to set O_DIRECT on file /tmp/#sql593e_191_0.ibd: CREATE: Invalid argument, continuing anyway 140324 5:
MySQL下InnoDB存储引擎有个innodb_flush_method只读参数，用户设置InnoDB的数据和redo日志文件flush行为。defines the method used to flush data toInnoDBdata files and log files, which can affect I/O throughput.
除非特别说明，否则本文提到的写操作都是 buffer write/write back。
通过man命令查看fsync(2)函数有以下共识： 1、fsync函数是属于系统核心函数； 2、调用fsync函数会将修改的数据和文件描述符的属性持久化到存储设备中； 3、fsync函数将内核缓存的数据刷新到驱动器上，但是驱动器可能不会立即将数据写入到存储设备中并且可能以一个无序的状态写入； 4、出现意外情况(设备断电或系统崩溃)，可能会导致只有部分数据写入到存储设备中；
1)master关闭持久化 原因很简单，因为无论哪种持久化方式都会影响redis的性能，哪一种持久化都会造成CPU卡顿，影响对客户端请求的处理。为了保证读写最佳性能，将master的持久化关闭！
ssize_t write(int fd, const void *buf, size_t count);
Redis在执行 fsync 的时候，redis 为了保证 AOF 文件安全性，会校验上次 fsync 的时间是否大于2秒。若超过2秒，会发生阻塞。
文件系统—一种把数据组织成文件和目录的存储方式，提供了基于文件的存取接口，并通过文件权限控制访问。
Postgresql中常见的的sharebuffer配置为内存的25%，而mysql的bp常见配置为内存的75%，原因和刷盘方式不同有关。
这是个系统性问题，并非单一原因导致的，排查过程涉及测试/验证较多，很多实验是多个优化点的组合。由于单次实验很耗时，很多是同步进行的，本文就不再以时间线的形式逐步递进，而是逐一列出所有的问题点及对应排查方法、优化方法。
传统的UNIX实现在内核中设有缓冲区高速缓存或页面高速缓存，大多数磁盘I/O都通过缓冲进行。当将数据写入文件时，内核通常先将该数据复制到其中一个缓冲区中，如果该缓冲区尚未写满，则并不将其排入输出队列，而是等待其写满或者当内核需要重用该缓冲区以便存放其他磁盘块数据时，再将该缓冲排入输出队列，然后待其到达队首时，才进行实际的I/O操作。这种输出方式被称为延迟写（delayed write）（Bach [1986]第3章详细讨论了缓冲区高速缓存）。 延迟写减少了磁盘读写次数，但是却降低了文件内容的更新速度，使得欲写到文件中的数据在一段时间内并没有写到磁盘上。当系统发生故障时，这种延迟可能造成文件更新内容的丢失。为了保证磁盘上实际文件系统与缓冲区高速缓存中内容的一致性，UNIX系统提供了sync、fsync和fdatasync三个函数。 sync函数只是将所有修改过的块缓冲区排入写队列，然后就返回，它并不等待实际写磁盘操作结束。 通常称为update的系统守护进程会周期性地（一般每隔30秒）调用sync函数。这就保证了定期冲洗内核的块缓冲区。命令sync(1)也调用sync函数。 fsync函数只对由文件描述符filedes指定的单一文件起作用，并且等待写磁盘操作结束，然后返回。fsync可用于数据库这样的应用程序，这种应用程序需要确保将修改过的块立即写到磁盘上。 fdatasync函数类似于fsync，但它只影响文件的数据部分。而除数据外，fsync还会同步更新文件的属性。
Redis提供了将数据定期自动持久化至硬盘的能力，包括RDB和AOF两种方案，两种方案分别有其长处和短板，可以配合起来同时运行，确保数据的稳定性。
线上的Redis服务经经常有业务反馈响应慢的问题，针对这类问题，最好的分析方法是确定一个Redis的基准性能，然后去分析究竟什么原因导致的Redis变慢。
Busybox 最初是由 Bruce Perens 在 1996 年为 Debian GNU/Linux 安装盘编写的。其目标是在一张软盘(存储空间只有1MB多)上创建一个GNU/Linux 系统，可以用作安装盘和急救盘
Redis 的数据全部在内存里，如果突然宕机，数据就会全部丢失，因此必须有一种机制来保证 Redis 的数据不会因为故障而丢失，这种机制就是 Redis 的持久化机制。
今天主要分享继Redis持久化方式RDB、AOF之后的一些常用的Redis问题定位于优化方式。
Windows 开发环境： Windows 7 64bit 、Windows 10 64bit
应为原文：http://www.ilsistemista.net/index.php/linux-a-unix/6-linux-filesystems-benchmarked-ext3-vs-ext4
本文介绍了Linux内核中关于数据一致性的问题，以及为解决这些问题而采用的各种技术和方法。首先介绍了数据一致性问题在Linux内核中的重要性，然后介绍了Linux内核中现有的数据一致性技术和方法，包括O_DIRECT、O_SYNC、FUA、PDflush、barrier等。最后，总结了如何通过这些技术来提高文件系统的可靠性和性能。
起因: 昨天晚上思路不是很清晰(上了一天班回来有点蒙),还是强忍着疲惫想搞事情,结果悲剧了… … 本来想拿SD卡做一张linux烧录卡,烧录脚本是很久以前写的,有git记录,一直不成功,就回退了几次提交,然后执行的时候没有给脚本传参(/dev/sd**),结果脚本中默认磁盘设备为/dev/sdb ,在现在电脑上是一块数据磁盘,执行到一半的时候由于某些原因意外退出,但还是有一些命令执行,比如最致命的一条: dd if=/dev/zero of=${node} bs=1024 count=1 conv=fsync conv=notrunc node指向的就是/dev/sdb 然后把LVM2 label、meta data、分区表都给删除了,由于此硬盘在/etc/fstab中有记录,所以今天开机有卡主了,开始以为磁盘接触不良,进入linux recovery模式屏蔽掉fstab中相关选项后进入系统. ls -l /dev/sd* 发现只有/dev/sdb 没有分区信息,接着执行fdisk /dev/sdb, p打印信息 Command (m for help): p Disk /dev/sdb: 465.8 GiB, 500107862016 bytes, 976773168 sectors Units: sectors of 1 * 512 = 512 bytes Sector size (logical/physical): 512 bytes / 4096 bytes I/O size (minimum/optimal): 4096 bytes / 4096 bytes Disklabel type: dos Disk identifier: 0x********* 同样没有分区信息,回想昨晚的操作,终于……(一身冷汗)
(本文改编自生活真实案例，如有类同，绝不是巧合！) 端午节，烟哥正在一边愉快的学习…. 突然，微信一阵抖动。原来是老刘呼唤烟哥！善良的烟哥本以为人家是要约我出去玩！然而，打开微信一看，出现下图聊天记录
功能描述： 系统调用fsync将所有已写入文件描述符fd的数据真正的写道磁盘或者其他下层设备上。
你可曾想过在IOS设备上运行Linux系统？或者用shell来传输文件、编写脚本，又或者使用Vi来开发代码？
工具：htop, net-tools, ping, iperf, UnixBench 等
3.性能最大化，redis开始持久化时，分叉出进程，由子进程完成持久化的工作 ，避免服务器进程执行I/O操作，启动效率高
可以看到我这张SD卡的相关信息，总容量为15931539456字节，31116288个sectors，即一个sector为512字节。
上一篇我们讲解了redis的简介和安装，这里我们讲解一下redis配置。
有关Redis中配置文件的解释，我们可以看文档：redis/redis.conf at unstable · redis/redis · GitHub
在redis入门(一)简单介绍了redis的历史和安装部署，以及基本的数据结构和api，本节讲解redis持久化、高可用、redis集群和分布式相关的知识。
1.计算延迟时间: 使用–latency参数 以下参数表示平均超时时间0.03ms。 redis-cli --latency -h 127.0.0.1 -p 6800 min: 0, max: 4, avg: 0.03 (12235 samples) 注意:由于使用的是本机的回环地址，所以这样其实忽略了带宽上的延迟 使用redis内部的延迟检测子系统测试：见上一篇文章中“启用延迟监控系统“部分。 2.延迟标准: 使用–intrinsic-latency参数 需要运行在redis serv
您需要足够的内存来缓冲活动的读取器和写入器。 您可以通过假设您希望能够缓冲 30 秒并将您的内存需求计算为 write_throughput*30 来对内存需求进行粗略估计。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
