m表示memory，f表示file，因此madvise是针对内存，而fadvise是针对文件。
业务反馈glog组件在Docker容器内运行延时比虚拟化机要高出不少，并提供了复现的程序，复现测试程序关键代码如下：
计算机的文件系统是一种存储和组织计算机数据的方法，它使得对其访问和查找变得容易，文件系统使用文件和树形目录的抽象逻辑概念代替了硬盘和光盘等物理设备使用数据块的概念，用户使用文件系统来保存数据不必关心数据实际保存在硬盘（或者光盘）的地址为多少的数据块上，只需要记住这个文件的所属目录和文件名。在写入新数据之前，用户不必关心硬盘上的那个块地址没有被使用，硬盘上的存储空间管理（分配和释放）功能由文件系统自动完成，用户只需要记住数据被写入到了哪个文件中。
使用Linux的rename机制保证文件写入要么成功，要么失败，绝对不能出现写了一半的情况。
日志从最初面向人类演变到现在的面向机器发生了巨大的变化。最初的日志主要的消费者是软件工程师，他们通过读取日志来排查问题，如今，大量机器日夜处理日志数据以生成可读性的报告以此来帮助人类做出决策。在这个转变的过程中，日志采集Agent在其中扮演着重要的角色。
配置 [root@h102 src]# cd nginx-1.9.5 [root@h102 nginx-1.9.5]# ls auto CHANGES CHANGES.ru conf configure contrib html LICENSE man README src [root@h102 nginx-1.9.5]# ./configure checking for OS + Linux 2.6.32-504.el6.x86_64 x86_64 checking for C c
IOR是一个并行的IO基准，可用于测试使用各种接口和访问模式的并行存储系统的性能。接口和访问模式的并行存储系统的性能。IOR资源库还包括mdtest基准，专门测试不同目录结构下存储系统的元数据峰值速率。在不同目录结构下存储系统的元数据峰值速率。这两个基准都使用一个共同的并行 I/O抽象后端，并依靠MPI进行同步。本文档由两部分组成。用户文档包括安装说明（Install），初学者教程（IOR的第一步），以及关于IOR的运行时选项的信息。开发者文档包括用Doxygen生成的代码文档和一些关于与Travis的连续整合的说明。IOR/mdtest用户和开发者文档的许多方面都是不完整的，我们鼓励贡献者 鼓励贡献者直接评论代码或在此基础上扩展文档。
新配置，就可以配置成功 [root@h102 nginx-1.9.5]# ./configure checking for OS + Linux 2.6.32-504.el6.x86_64 x86_64 checking for C compiler ... found + using GNU C compiler + gcc version: 4.4.7 20120313 (Red Hat 4.4.7-11) (GCC) checking for gcc -pipe switch ... fou
前言 互联网公司一般都会运行着几千到几万的服务器。一般的监控会采用类似ganglia/falcon类似的工具，在本地启动一个agent，把数据统计上报到集中式的服务器中，用来监控和分析系统的问题。 另外，有atop这样的工具，可以运行在服务器上，在本地写下record文件，atop命令本身也可以分析record文件，其中保存的数据的粒度更加细致，可以精确到线程级别，还有IPC，主频等等。 经验来看，atop每天生成的record文件大约500M左右，保存最近的一段时间，似乎也不是问题。用集中式的监控，配合上atop，对于问题分析来说，会有一些帮助。 分析 1,atop的改进 atop的代码量本身并不大，官方的代码在： https://github.com/Atoptool/atop.git 在使用atop的过程中，遇到了一些问题，作者也做了相应的修改： https://github.com/bytedance/atop 在bytedance-features分支上。作者把patch发送给maintainer，但是maintainer一直没有回复。在这里，列举一下改动的内容，如下。 2,smaps的优化 尝试使用smaps_rollup代替smaps，用来提高atop收集进程的PSS内存使用的效率。这个patch会在4.14上有所提升。一般情况下，建议在atop收集的时候不要加上-R选项。因为在atop读/proc/PID/smaps的时候，会walk整个PID进程的页表，期间会lock住内存页表的锁。如果在这期间PID进程发生了page fault，也需要lock，就会造成锁的进程。影响PID进程的性能。 3,数据破损问题 atop使用裸数据的方式保存record文件，其中包括三部分：raw record，就是头信息; scompbuf，是系统状态信息的数据; pcompbuf，是task级的状态信息数据，大小和task数量有关系。为了减小record文件的大小，对于 scompbuf和pcompbuf还采用了压缩。所以，数据必须完整的 rr,scompbuf,pcompbuf顺序写下去的，否则atop无法识别数据。 good case : ... rr,scompbuf,pcompbuf ... rr,scompbuf,pcompbuf ... bad case : ... rr,scompbuf[missing] ... rr,scompbuf,pcompbuf … 例如上面的例子，在写完rr,scompbuf之后，atop发生了crash，再重新启动，就会丢失后面的 pcompbuf，造成了整个record文件的不可用。 在patch中，作者使用writev进行写入数据，要么都写入成功，要么都写入不成功，用来防止这种case发生。 4,IPC造成的虚拟机性能抖动 IPC,instructions per cycle。可以用来衡量CPU运行的效率。通常是通过perf采集的数据。 提到perf，就要说明一下它的工作原理：intel的CPU上集成了PMU，用来采集硬件的信息。可以收集的硬件信息很多，可以通过perf list | grep Hardware来看。但是硬件的寄存器有数量限制，所以需要通过wrmsr指令告诉CPU收集哪些具体的事件，再通过rdpmc指令来读取对应的数据。 在虚拟化场景下，在虚拟机中使用PMU又复杂了一下，在虚拟机中执行wrmsr和rdpmc的时候，都需要虚拟机从none-root模式退出，影响了虚拟机的性能。 在patch中，作者让atop支持perfevents的配置，支持三种模式：enable模式，启用perf收集IPC。disable模式，禁用perf收集IPC。auto模式，在启动的时候，atop自动检查是否在虚拟机中运行，如果在虚拟机中，禁用;在物理级中，启用。默认是auto模式。 5,减小record文件 如果是大规格的服务器，40CPU，甚至到96CPU，通常运行大量的docker，里面运行了很多的task。其中很多task占用资源很少，但是依然会占用atop的record文件。 在patch中，支持了配置参数recordcputop & recordmemtop。用来配置收集cpu和内存的topN。其他的task可以忽略。作者测试线上的服务器36CPU, about 500 processes的场景，大约节省了40%的磁盘空间。 6,加速读record 一般在ganglia上看到系统抖动，例如下午三点十分，在对应的服务器上执行： atop -r / var/log/atop/atop_xxxx -b 15:10 如前文所述，因为rawrecord的原因，则会从头读到尾，直到匹配到对应的时间。对于log盘的使用，尤其是虚拟化场景，会限制IOPS。这
IO模型 只关注IO，不关注IO读写完成后的事情。 同步：程序（APP）自己进行读/写操作 异步：由Kernel完成读/写，程序跑起来感觉像没有访问IO，访问的是buffer 阻塞：BLOCKING，一直等待着方法有效的返回结果 非阻塞：NONBLOCKING，调用方法的时候就返回是否读取到，（java中要么返回null，要么返回具体的对象） 所以IO模型有： 同步阻塞：程序（APP）自己读取，调用了方法后一直等待着有效的返回结果 同步非阻塞：程序（APP）自己读取，调用方法的瞬间就给出是否读取到的返回结
在Linux内核2.6出现之前进程是(最小)可调度的对象，当时的Linux不真正支持线程。Linux 2.4内核中不知道什么是“线程”，只有一个“task_struct”的数据结构，就是进程。
本文介绍了Nginx在CentOS系统上的安装和配置，主要包括了Nginx的下载、安装、配置和Tomcat的部署。Nginx在CentOS系统上的部署包括下载、解压、编译和安装，同时还需要进行配置，包括监听80端口和访问控制。在Nginx的配置中，需要添加多个location块，以支持不同的URL路径。最后，在Tomcat的部署中，需要使用Nginx作为反向代理服务器，将请求转发到Tomcat上。
反向代理（Reverse Proxy）方式是指以代理服务器来接受internet上的连接请求，然后将请求转发给内部网络上的服务器，并将从服务器上得到的结果返回给internet上请求连接的客户端，此时代理服务器对外就表现为一个服务器。
总体而言，Linux操作系统是一个强大、灵活且可定制的操作系统，广泛应用于服务器、嵌入式系统、超级计算机等各种领域。
本文从操作系统的角度来解释BIO，NIO，AIO的概念，含义和背后的那些事。本文主要分为3篇。 第一篇 讲解BIO和NIO以及IO多路复用 第二篇 讲解磁盘IO和AIO 第三篇 讲解在这些机制上的一些应用的实现方式，比如nginx，nodejs，Java NIO等 磁盘IO 磁盘IO，简单来说就是读取硬盘一类设备的IO。这类设备包括传统的磁盘、SSD、闪存、CD等。操作系统将其统一抽象为”块设备“。所以磁盘IO又可以叫做”块IO“。这些设备上的数据一般用文件系统来组织，所以又可以成为”文件IO“。本文统
磁盘IO，简单来说就是读取硬盘一类设备的IO。这类设备包括传统的磁盘、SSD、闪存、CD等。操作系统将其统一抽象为”块设备“。所以磁盘IO又可以叫做”块IO“。这些设备上的数据一般用文件系统来组织，所以又可以成为”文件IO“。本文统一用”磁盘IO“这个术语。
《原文出自http://blog.csdn.net/guosha, 转载请注明出处》
在本文中，传统UNIX fork之后，我给出传统的UNIX fork在Linux内核中的变体clone系统调用的精彩。
再次尝试备份master数据库 [root@master-qa ~]# /usr/bin/innobackupex --defaults-file=/etc/my.cnf --user=root --password=xxxxxxx /data/fullbackup/ InnoDB Backup Utility v1.5.1-xtrabackup; Copyright 2003, 2009 Innobase Oy and Percona LLC and/or its affiliates 2009-2
本专栏，用于记录我对Linux内核源码的学习，就像STL源码的那个专栏一样，我知道阅读源码对我的意义。 愿者上钩咯，共同进步。
众所周知，MYSQL的版本更新的越来越快，明年或许就看到 MYSQL 9 的身影，大部分人都想试试，但先得泼一盆冷水，备份的事情你想好了吗？
Unix： Unix是一个操作系统家族的名称，最早由贝尔实验室（Bell Labs）的肖像电机公司（AT&T）开发。最早的Unix版本是在1969年创建的。
F-Stack是一个全用户态（kernel bypass）的高性能的网络接入开发包，基于DPDK、FreeBSD协议栈、微线程接口等，适用于各种需要网络接入的业务，用户只需要关注业务逻辑，简单的接入F-Stack即可实现高性能的网络服务器。 本文介绍F-Stack的详细架构及如何解决内核协议栈面临的问题。 传统内核协议栈的性能瓶颈 在传统的内核协议栈中，网络包处理存在诸多瓶颈，严重影响网络包的收发性能。性能瓶颈主要包括以下几个方面 局部性失效 - 一个数据包的处理可能跨多个CPU核心、缓存失效、NUM
原文地址：牛客网论坛最具争议的Linux内核成神笔记，GitHub已下载量已过百万
在Linux系统中，进程间的同步和通信是一个复杂而关键的话题。为了维护系统资源的正确访问和分配，Linux提供了多种同步机制，其中锁机制是其中之一。然而，当多个进程试图同时访问同一资源时，可能会出现死锁或竞争条件。为了有效地诊断和解决这些问题，Linux提供了lslocks命令，该命令可以显示系统上的活动锁信息，帮助系统管理员和开发者深入了解系统资源的使用情况。
同步IO、异步IO、阻塞IO、非阻塞IO，这几个词常见于各种各样的与网络相关的文章之中，往往不同上下文中它们的意思是不一样的，以致于我在很长一段时间对此感到困惑，所以想写一篇文章整理一下。
Linux内核分为CPU调度、内存管理、网络和存储四大子系统，针对硬件的驱动成百上千。代码的数量更是大的惊人。
由于Android系统是基于Linux系统的，所以有必要简单的介绍下Linux的跨进程通信，对大家后续了解Android的跨进程通信是有帮助的，本篇的主要内容如下：
本系列是对 陈莉君 老师 Linux 内核分析与应用[1] 的学习与记录。讲的非常之好，推荐观看
POSIX AIO 是在用户控件模拟异步 IO 的功能，不需要内核支持，而 linux AIO 则是 linux 内核原声支持的异步 IO 调用，行为更加低级。
来源：IBM 译者：ljianhui 链接：blog.csdn.net/ljianhui/article/details/46718835 1.1 Linux进程管理 进程管理是操作系统的最重要的功能之一。有效率的进程管理能保证一个程序平稳而高效地运行。 Linux的进程管理与UNIX的进程管理相似。它包括进程调度、中断处理、信号、进程优先级、上下文切换、进程状态、进度内存等。 在本节中，我们将描述Linux进程管理的基本原理的实现。它将更好地帮助你理解Linux内核如何处理进程及其对系统性能的影响。
操作系统（Operating System），传统上负责对计算机硬件直接控制以及管理的系统软件。操作系统的功能一般包括处理器管理、存储管理、设备管理和作业管理等。当多个程序运行时，操作系统负责规划每个程序的处理时间。 一个操作系统概念上可以分成两个部分：内核（Kernel）以及壳（shell）。
剩下的一些配置指令没有大的归属，不过也有一些是比较常见的，这部分内容学习完成之后，整个 http 模块相关的核心基础配置指令就全部学习完成了。今晚可以举杯庆祝一下了，咱们远程干杯。但是，还是要泼个冷水哦，咱们的学习还有很长的路要走。如果你看过 Nginx 的官方文档，就会知道仅仅是 HTTP 模块本身，就还有一大堆核心模块之外的模块。
本文为IBM RedBook的Linux Performanceand Tuning Guidelines的1.1节的翻译 原文地址：http://www.redbooks.ibm.com/redpapers/pdfs/redp4285.pdf 原文作者：Eduardo Ciliendo, Takechika Kunimasa, Byron Braswell 1.1 Linux进程管理 进程管理是操作系统的最重要的功能之一。有效率的进程管理能保证一个程序平稳而高效地运行。 Linux的进程管理与UNIX的进
Linux进程管理 进程管理是操作系统的最重要的功能之一。有效率的进程管理能保证一个程序平稳而高效地运行。 Linux的进程管理与UNIX的进程管理相似。它包括进程调度、中断处理、信号、进程优先级、上下文切换、进程状态、进度内存等。 在本节中，我们将描述Linux进程管理的基本原理的实现。它将更好地帮助你理解Linux内核如何处理进程及其对系统性能的影响。 什么是进程？ 一个进程是一个运行在处理器的程序的一个实例。该进程使用Linux内核能够处理的任何资源来完成它的任务。 所有运行在Linux操作系统中
同步：程序从上往下执行 异步：程序从上往下执行会有多个分支共同执行（即开多个线程）。
Reactor 与 Proactor 模型是近几年技术领域频频提到的两个设计模式，那么，究竟什么是 Reator，什么又是 Proactor，他们之间有什么异同呢？ 本文就来详细介绍一下。
可以使用uname -r 查看内核版本号，例如：2.6.32-754.2.1.el6.x86_64
用了这么久的docker，对docker的实现原理挺感兴趣的，在对Linux下docker的实现原理了解之后，我没有用过Windows下的docker，更加好奇Windows下的docker是如何实现的（它并不开源），问了问owefsad师傅，说是可能用到了hyperV，那么可能类似Vmware吗？不知道啊。
内核源码网址：http://www.kernel.org，所有来自全世界的对Linux源码的修改最终都会汇总到这个网站，由Linus领导的开源社区对其进行甄别和修改最终决定是否进入到Linux主线内核源码中。
廖威雄，目前就职于珠海全志科技股份有限公司从事linux嵌入式系统(Tina Linux)的开发，主要负责文件系统和存储的开发和维护，兼顾linux测试系统的设计和持续集成的维护。
这是05年的老文章，网上应该有人早就翻译过了，我翻译它仅仅为了学习Reactor/Proactor两种TCP服务器设计模式，顺便作翻译练习。
Linux是一套免费使用和自由传播的类Unix操作系统，是一个基于POSIX和UNIX的多用户、多任务、支持多线程和多CPU的操作系统。它能运行主要的UNIX工具软件、应用程序和网络协议。它支持32位和64位硬件。Linux继承了Unix以网络为核心的设计思想，是一个性能稳定的多用户网络操作系统。
shared_buffers (integer) 设置数据库服务器将使用的共享内存缓冲区量。默认通常是 128 兆字节（128MB），但是如果你的内核设置不支持（在initdb时决定），那么可以会更少。这个设置必须至少为 128 千字节（BLCKSZ的非默认值将改变最小值）。不过为了更好的性能，通常会使用明显高于最小值的设置。
作者：huangguisu 原文出处：http://blog.csdn.net/hguisu/article/details/7453390
randrepeat=boolForrandomIOworkloads,seedthegeneratorinapredictablewaysothatresultsarerepeatableacrossrepetitions.Defaultstotrue.randseed=intSeedtherandomnumbergeneratorsbasedonthisseedvalue,tobeabletocontrolwhatsequenceofoutputisbeinggenerated.Ifnotset,therandomsequencedependsontherandrepeatsetting.fallocate=strWhetherpre-allocationisperformedwhenlayingdownfiles.Acceptedvaluesare:noneDonotpre-allocatespaceposixPre-allocateviaposix_fallocate()keepPre-allocateviafallocate()withFALLOC_FL_KEEP_SIZEset0Backward-compatiblealiasfor'none'1Backward-compatiblealiasfor'posix'Maynotbeavailableonallsupportedplatforms.'keep'isonlyavailableonLinux.IfusingZFSonSolaristhismustbesetto'none'becauseZFSdoesn't support it. Default: 'posix'. fadvise_hint=bool By default, fio will use fadvise() to advise the kernel on what IO patterns it is likely to issue. Sometimes you want to test specific IO patterns without telling the kernel about it, in which case you can disable this option. If set, fio will use POSIX_FADV_SEQUENTIAL for sequential IO and POSIX_FADV_RANDOM for random IO. fadvise_stream=int Notify the kernel what write stream ID to place these writes under. Only supported on Linux. Note, this option may change going forward. size=int The total size of file io for this job. Fio will run until this many bytes has been transferred, unless runtime is limited by other options (such as 'runtime', for instance, or increased/decreased by 'io_size'). Unless specific nrfiles and filesize options are given, fio will divide this size between the available files specified by the job. If not set, fio will use the full size of the given files or devices. If the files do not exist, size must be given. It is also possible to give size as a percentage between 1 and 100. If size=20% is given, fio will use 20% of the full size of the given files or devices. io_size=int io_limit=int Normally fio operates within the region set by 'size', which means that the 'size' option sets both the region and size of IO to
Linux环境编程对于初学者来说，必须深刻理解重点概念才能更好地编写代码，实现业务功能，下面就几个重要的及常用的知识点进行说明。搞懂这几个概念后以免在将来的编码出现混淆。 系统调用 ❝所有的操作系统在其内核里都有一些内建的函数，这些函数可以用来完成一些系统级别的功能。在Linux系统使用的这样的函数叫做“系统调用”，英文是systemcall。这些函数代表了从用户空间到内核空间的一种转换。 ❞ 系统调用是Linux操作系统提供的服务，是编写应用程序与内核之间通信的接口，也就是我们所说的函数。相对于普通的函数
操作系统（Operating System，简称OS），是管理和控制计算机硬件与资源的计算机程序，是直接运行在“裸机”上的最基础的系统软件，任何其他软件都必须在操作系统的支持下才能运行。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
