redis.conf中的appendfysnc是对redis性能有重要影响的参数之一。可取三种值：always、everysec和no。
今天早晨遇到一个Redis的线上的问题，也算是一个Redis的经典问题了，这里记录下分析和排查过程，希望对大家有所帮助。
c语言libc库自带的fflush和linux的sync、fsync、fdatasync，字面上都是刷新缓冲区数据到磁盘（当然，fflush还可以刷新缓冲区数据到标准输入、输出以及错误输出）。下面就分析一下上面提到的四个函数的区别。 一、c语言fflush和linux的sync、fsync、fdatasync的区别 1.接口基本不同 fflush是libc库中提供的函数，平台无关，只有在你使用到c语言的标准文件（FILE）操作时，才涉及fflush。 sync、fsync、fdatasync是系统提
Mysql错误日志： Version: '5.1.34-percona-highperf-log' socket: '/home/mysql/mysql.sock' port: 3306 Source distribution 140324 5:00:02 InnoDB: Failed to set O_DIRECT on file /tmp/#sql593e_191_0.ibd: CREATE: Invalid argument, continuing anyway 140324 5:
MySQL下InnoDB存储引擎有个innodb_flush_method只读参数，用户设置InnoDB的数据和redo日志文件flush行为。defines the method used to flush data toInnoDBdata files and log files, which can affect I/O throughput.
除非特别说明，否则本文提到的写操作都是 buffer write/write back。
通过man命令查看fsync(2)函数有以下共识： 1、fsync函数是属于系统核心函数； 2、调用fsync函数会将修改的数据和文件描述符的属性持久化到存储设备中； 3、fsync函数将内核缓存的数据刷新到驱动器上，但是驱动器可能不会立即将数据写入到存储设备中并且可能以一个无序的状态写入； 4、出现意外情况(设备断电或系统崩溃)，可能会导致只有部分数据写入到存储设备中；
1)master关闭持久化 原因很简单，因为无论哪种持久化方式都会影响redis的性能，哪一种持久化都会造成CPU卡顿，影响对客户端请求的处理。为了保证读写最佳性能，将master的持久化关闭！
ssize_t write(int fd, const void *buf, size_t count);
文件系统—一种把数据组织成文件和目录的存储方式，提供了基于文件的存取接口，并通过文件权限控制访问。
Redis在执行 fsync 的时候，redis 为了保证 AOF 文件安全性，会校验上次 fsync 的时间是否大于2秒。若超过2秒，会发生阻塞。
Postgresql中常见的的sharebuffer配置为内存的25%，而mysql的bp常见配置为内存的75%，原因和刷盘方式不同有关。
这里我们使用术语“缓冲”(一般为buffer)来表示对数据写的暂存，使用术语“缓存”(一般为cache)来表示对数据读的暂存。顾名思义，由于底层存储设备和内存之间速率的差异，缓冲是用来暂“缓”对底层存储设备IO的“冲”击。缓存主要是在内存中暂“存”从磁盘读到的数据，以便接下来对这些数据的访问不用再次访问慢速的底层存储设备。
传统的UNIX实现在内核中设有缓冲区高速缓存或页面高速缓存，大多数磁盘I/O都通过缓冲进行。当将数据写入文件时，内核通常先将该数据复制到其中一个缓冲区中，如果该缓冲区尚未写满，则并不将其排入输出队列，而是等待其写满或者当内核需要重用该缓冲区以便存放其他磁盘块数据时，再将该缓冲排入输出队列，然后待其到达队首时，才进行实际的I/O操作。这种输出方式被称为延迟写（delayed write）（Bach [1986]第3章详细讨论了缓冲区高速缓存）。 延迟写减少了磁盘读写次数，但是却降低了文件内容的更新速度，使得欲写到文件中的数据在一段时间内并没有写到磁盘上。当系统发生故障时，这种延迟可能造成文件更新内容的丢失。为了保证磁盘上实际文件系统与缓冲区高速缓存中内容的一致性，UNIX系统提供了sync、fsync和fdatasync三个函数。 sync函数只是将所有修改过的块缓冲区排入写队列，然后就返回，它并不等待实际写磁盘操作结束。 通常称为update的系统守护进程会周期性地（一般每隔30秒）调用sync函数。这就保证了定期冲洗内核的块缓冲区。命令sync(1)也调用sync函数。 fsync函数只对由文件描述符filedes指定的单一文件起作用，并且等待写磁盘操作结束，然后返回。fsync可用于数据库这样的应用程序，这种应用程序需要确保将修改过的块立即写到磁盘上。 fdatasync函数类似于fsync，但它只影响文件的数据部分。而除数据外，fsync还会同步更新文件的属性。
Redis提供了将数据定期自动持久化至硬盘的能力，包括RDB和AOF两种方案，两种方案分别有其长处和短板，可以配合起来同时运行，确保数据的稳定性。
线上的Redis服务经经常有业务反馈响应慢的问题，针对这类问题，最好的分析方法是确定一个Redis的基准性能，然后去分析究竟什么原因导致的Redis变慢。
Redis 的数据全部在内存里，如果突然宕机，数据就会全部丢失，因此必须有一种机制来保证 Redis 的数据不会因为故障而丢失，这种机制就是 Redis 的持久化机制。
今天主要分享继Redis持久化方式RDB、AOF之后的一些常用的Redis问题定位于优化方式。
应为原文：http://www.ilsistemista.net/index.php/linux-a-unix/6-linux-filesystems-benchmarked-ext3-vs-ext4
本文介绍了Linux内核中关于数据一致性的问题，以及为解决这些问题而采用的各种技术和方法。首先介绍了数据一致性问题在Linux内核中的重要性，然后介绍了Linux内核中现有的数据一致性技术和方法，包括O_DIRECT、O_SYNC、FUA、PDflush、barrier等。最后，总结了如何通过这些技术来提高文件系统的可靠性和性能。
(本文改编自生活真实案例，如有类同，绝不是巧合！) 端午节，烟哥正在一边愉快的学习…. 突然，微信一阵抖动。原来是老刘呼唤烟哥！善良的烟哥本以为人家是要约我出去玩！然而，打开微信一看，出现下图聊天记录
功能描述： 系统调用fsync将所有已写入文件描述符fd的数据真正的写道磁盘或者其他下层设备上。
3.性能最大化，redis开始持久化时，分叉出进程，由子进程完成持久化的工作 ，避免服务器进程执行I/O操作，启动效率高
上一篇我们讲解了redis的简介和安装，这里我们讲解一下redis配置。
有很多的图形化工具可以用来创建临场live USB 驱动器。Linux 上的 Etcher 可能是最受欢迎的。为此，Ubuntu 也开发了自己的启动盘创建工具。
有关Redis中配置文件的解释，我们可以看文档：redis/redis.conf at unstable · redis/redis · GitHub
1.计算延迟时间: 使用–latency参数 以下参数表示平均超时时间0.03ms。 redis-cli --latency -h 127.0.0.1 -p 6800 min: 0, max: 4, avg: 0.03 (12235 samples) 注意:由于使用的是本机的回环地址，所以这样其实忽略了带宽上的延迟 使用redis内部的延迟检测子系统测试：见上一篇文章中“启用延迟监控系统“部分。 2.延迟标准: 使用–intrinsic-latency参数 需要运行在redis serv
本文最初发布于 Confluent 官方博客，经授权由 InfoQ 中文站翻译并分享。
当应用程序向文件写入数据时，内核通常先将数据复制到内核缓冲区中，然后排入队列，然后由内核决定何时写入硬盘。
您需要足够的内存来缓冲活动的读取器和写入器。 您可以通过假设您希望能够缓冲 30 秒并将您的内存需求计算为 write_throughput*30 来对内存需求进行粗略估计。
上一篇《不可不知的Linux中三种缓冲模式》中说到了三种缓冲类型，这一篇主要讲与缓冲相关的函数，这些函数可以修改默认的缓冲类型，及在实际中可能遇到的问题。
解决方案:使用带缓冲功能的标准I/O库，以减少系统调用的次数。 例如: fwrite、fread、fopen、fclose、fseek、fflush
一个是DEL，它是对象的阻塞删除。这意味着服务器停止处理新命令，以同步方式收回与一个对象关联的所有内存。 如果删除的键与一个小对象相关联，那么执行DEL命令所需的时间非常小，可以与Redis中的大多数O(1)或O(log_N)命令相媲美。 但是，如果键与包含数百万个元素的聚合值相关联，服务器可能会阻塞很长时间(甚至几秒钟)以完成操作。
sysbench是一款开源的多线程性能测试工具，可以执行CPU/内存/线程/IO/数据库等方面的性能测试。 sysbench 支持以下几种测试模式 ：
上一篇讲的RDB是批量的插入数据，但是如果单纯使用就会有一个隐患：突然断电的时候势必要失去一部分数据，因为还没来得及轮上。
redis的数据都是存放到内存中的，如果突然宕机，数据就会全部丢失，因此必须有一种机制来保证redis在内存中的数据不会丢失，这种机制就叫redis持久化机制。
Linux 5.10 版本中包含了一个有望显著提高 ext4 文件系统性能的改动，人们称它为 "fast commits (快速提交)"，加入了一种新的、更轻量级的日志方法。让我们来看一下这个功能具体是如何工作的、谁能从中受益、以及什么场景下适用。
Redis 利用了多路 I/O 复用机制，处理客户端请求时，不会阻塞主线程；Redis 单纯执行（大多数指令）一个指令不到 1 微秒，如此，单核 CPU 一秒就能处理 1 百万个指令（大概对应着几十万个请求吧），用不着实现多线程（网络才是瓶颈）。
dd 也是我们经常使用到的磁盘测试工具，Linux服务器装好系统之后，想要知道硬盘的读写是否能满足服务的需要，如果不满足硬盘的IO就是服务的一个瓶颈。我们可以使用dd命令简单进行测试，更为专业的测试可以使用上面描述的fio 工具：
首先有个概念，并发和并行是不一样的。并行是指同一时间做很多事情，并发是指同一时间有多个请求。Redis的高并发指的是指很快地处理并发过来的请求，具体实现主要是依靠Linux操作系统。
众所周知Redis是基于内存的key-value型数据库，这样每次执行数据库操作时只涉及到内存，不涉及磁盘读取写入，效率很高。但是随之而来的问题便是当服务端进程正常或者异常退出时，如何保证数据的安全性和可靠性，这就涉及到持久化的问题。Redis持久化分为RDB持久化和AOF持久化两种，本节将分别进行介绍。
本期和大家聊的是刚刚在2月份拿到FAST 2018最佳论文奖的一篇文章。它讨论了实现一种支持保序IO操作的设备会带来哪些好处，目前的Linux内核里处理FLUSH、FUA的方式可以参见 https://lwn.net/Articles/400541/ ，本文大部分内容来自于 blog.acolyer.org ，图表来自于论文原文。
wal_level (enum) wal_level决定多少信息写入到 WAL 中。默认值是replica，它会写入足够的数据以支持WAL归档和复制，包括在后备服务器上运行只读查询。minimal会去掉除从崩溃或者立即关机中进行恢复所需的信息之外的所有记录。最后，logical会增加支持逻辑解码所需的信息。每个层次包括所有更低层次记录的信息。这个参数只能在服务器启动时设置。
本文主要讲了 Redis 的持久化相关功能，持久化一直是影响 Redis 性能的高发地，也是面试中经常被问到的。
本文主要讲了 Redis 的持久化相关功能，持久化一直是影响 Redis 性能的高发地，也是面试中经常被问到的。包括 RDB 相关的特定和优缺点，AOF 的优缺点，事实上，由于 RDB 的数据实时性问题，目前用 AOF 比较多了。而持久化恢复也是优先 AOF。
sync_file_range=str:valUsesync_file_range()forevery'val'numberofwriteoperations.Fiowilltrackrangeofwritesthathavehappenedsincethelastsync_file_range()call.'str'cancurrentlybeoneormoreof:wait_beforeSYNC_FILE_RANGE_WAIT_BEFOREwriteSYNC_FILE_RANGE_WRITEwait_afterSYNC_FILE_RANGE_WAIT_AFTERSoifyoudosync_file_range=wait_before,write:8,fiowoulduseSYNC_FILE_RANGE_WAIT_BEFORE|SYNC_FILE_RANGE_WRITEforevery8writes.Alsoseethesync_file_range(2)manpage.ThisoptionisLinuxspecific.overwrite=boolIftrue,writestoafilewillalwaysoverwriteexistingdata.Ifthefiledoesn't already exist, it will be created before the write phase begins. If the file exists and is large enough for the specified write phase, nothing will be done. end_fsync=bool If true, fsync file contents when a write stage has completed. fsync_on_close=bool If true, fio will fsync() a dirty file on close. This differs from end_fsync in that it will happen on every file close, not just at the end of the job. rwmixread=int How large a percentage of the mix should be reads. rwmixwrite=int How large a percentage of the mix should be writes. If both rwmixread and rwmixwrite is given and the values do not add up to 100%, the latter of the two will be used to override the first. This may interfere with a given rate setting, if fio is asked to limit reads or writes to a certain rate. If that is the case, then the distribution may be skewed. random_distribution=str:float By default, fio will use a completely uniform random distribution when asked to perform random IO. Sometimes it is useful to skew the distribution in specific ways, ensuring that some parts of the data is more hot than others. fio includes the following distribution models: random Uniform random distribution zipf Zipf distribution pareto Pareto distribution When using a zipf or pareto distribution, an input value is also needed to define the access pattern. For zipf, this is the zipf theta. For pareto, it'stheparetopower.Fioincludesatestprogram,genzipf,thatcanbeusedvi
容器技术改变了应用交付、运行的方式，几乎各种Linux环境下的应用程序都可以使用容器来运行。但是否能在容器环境里运行数据库应用，以及数据库应用是否适合在容器里运行，一直都是大家很关注的问题，今天我们就来深入分析一下容器环境运行MySQL数据库的事。
作者：lunnzhang，腾讯 CDG 后台开发工程师。 2007 年，他和朋友一起创建了一个网站。为了解决这个网站的负载问题，他自己定制了一个数据库。2009 年开发的，这个是 Redis。这位意大利程序员是萨尔瓦托勒·桑菲利波(Salvatore Sanfilippo)，他被称为Redis之父，更广为人知的名字是Antirez。 一、Redis简介 REmote DIctionary Server(Redis) 是一个开源的使用 ANSI C 语言编写、遵守 BSD 协议、支持网络、可基于内存、分
Phoronix 网站发布了关于 Windows、WSL 和 Linux 的性能基准测试结果。测试的内容包括网络性能、I/O 性能、编程语言运行性能和图形处理性能等。
Bbuffer 与 Cache 非常类似，因为它们都用于存储数据数据，被应用层读取字节数据。在很多场合它们有着相同的概念:
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
