几年以前，我被派去厦门上门去分析一个用户的手机卡顿问题，该用户的手机经常莫名无响应，刷机，恢复出厂都没有用，经过一通分析，原来该用户从熟人店里买到了一张盗版的SD卡（这年头坑的就是朋友），该SD卡读写速度很慢，顺序读写只有20MB/s。那为什么SD卡的读写性能对手机性能影响那么大？当时我的知识水平，只能从对比测试中发现这个问题，然后更换SD卡解决了这个问题，但是无法从原理上解释这种现象。经过那么多年的学习积累，我现在终于可以解释这个问题。
学习过[跟我学Kafka源码之LogManager分析]的同学一定会问为什么Kafka大量使用了磁盘作为传统意义的缓存。
tc(Traffic Control) 是linux系统中常用的来控制传输速率、模拟网络延时丢包等场景的工具，tc命令有三个主要的概念，是qdisc、class和filter，qdisc又分为classless qdisc和classful qdisc，在控制传输速度的方面大致有两种用法
由盘片，磁头组成，数据存在盘片的环形磁道上，读写时，磁头移动，定位到数据的磁道，进行数据读写
1、登录Terminal，执行：cat /proc/cpuinfo，就会显示出主机的CPU详细参数，如内核、频率、型号等等，以下是我Linux 系统主机的CPU：
昨天博客加了WP Super Cache缓存插件，速度提升明显。使用这类插件可以将PHP动态页面在首次访问时生成html静态页面并存储在硬盘中，当其他访客再次访问时直接读取该静态页面，这样不需要再次通过PHP生成动态页面也不需要再从数据库中读取数据，大幅降低系统资源消耗，且大幅提升了页面打开速度。
linux内存管理卷帙浩繁，本文只能层层递进地带你领略冰山轮廓，通过本文你将了解到以下内容：
当涉及到 Linux 系统的内存管理时，"Buffers" 和 "Cached" 是两个经常会引起混淆的术语。这两个概念都代表了系统内存的一部分，但它们的作用和工作方式有所不同。
之前文章《Linux服务器性能评估与优化(一)》太长，阅读不方便，因此拆分成系列博文：
这是 Linux 性能分析系列的第三篇，前两篇分别讲了 CPU 和 内存，本篇来看 IO。
实际上，零拷贝是有广义和狭义之分，目前我们通常听到的零拷贝，包括上面这个定义减少不必要的拷贝次数都是广义上的零拷贝。其实了解到这点就足够了。
在专栏之前的几篇文章中，我们总结了缓冲池，缓存页，redo log，undo log，以及数据页和数据行在底层是如何进行存储的，后续介绍了表空间，段，区等概念。这一节比较特殊，讲述的是和Linux有关的交互原理，因为多数的mysql都是部署在linux的服务器上面，本节会简单介绍一下linux是如何处理mysql的请求的，以及linux系统会带来哪些问题
服务器性能测试是一项非常重要而且必要的工作，本文是作者Micheal在对服务器进行性能测试的过程中不断摸索出来的一些实用策略，通过定位问题，分析原因以及解决问题，实现对服务器进行更有针对性的优化，提升服务器的性能。
在 Linux 系统（比如 CentOS/RadHat、Debian/Ubuntu）上配置 lnmp环境，通过探针查看物理内存使用率：
很多小伙伴对swap分区（内存数据换入换出）这个名词可能不陌生，有了这个技术，系统才能实现承载计算机内存总量的多进程运行。操作系统会把暂时不用的内存数据写到磁盘等其他存储中，以此来释放更多的内存空间执行当前需要更多内存的进程。但是换入换出过度频繁时虽然可能不发生进程申请不到内存而导致失败的问题，但却在一定程度上降低了进程执行的效率，毕竟内存与磁盘读写速度相差几个数量级，那么是否有其他技术能解决内存数据换入换出速度过慢的问题。这也是为什么安装k8s的机器上推荐关闭swap的原因，如果内存不足就直接暴漏出来，而不是遮遮掩掩。
我们知道文件一般存放在硬盘（机械硬盘或固态硬盘）中，CPU 并不能直接访问硬盘中的数据，而是需要先将硬盘中的数据读入到内存中，然后才能被 CPU 访问。
本文介绍linux内存机制、虚拟内存swap、buffer/cache释放等原理及实操。
在 Linux 系统中，调用 fork 系统调用创建子进程时，并不会把父进程所有占用的内存页复制一份，而是与父进程共用相同的内存页，而当子进程或者父进程对内存页进行修改时才会进行复制 —— 这就是著名的 写时复制 机制。
我们知道，直接从物理内存读写数据要比从硬盘读写数据要快的多，因此，我们希望所有数据的读取和写入都在内存完成，而内存是有限的，这样就引出了物理内存与虚拟内存的概念。
这本书是个人看过的讲操作系统底层里面讲的最通俗易懂的了，但是200多页的内容确实讲不了多深的内容，所以不要对这本书抱有过高期待，当一个入门书了解即可。
作者：Linux云计算架构 链接：https://mp.weixin.qq.com/s/r8SvHyPKWUG1AwRIn9ah5w
我们知道，直接从物理内存读写数据要比从硬盘读写数据要快的多，因此，我们希望所有数据的读取和写入都在内存完成，而内存是有限的，这样就引出了物理内存与虚拟内存的概念。 物理内存就是系统硬件提供的内存大小，是真正的内存，相对于物理内存，在linux下还有一个虚拟内存的概念，虚拟内存就是为了满足物理内存的不足而提出的策略，它是利用磁盘空间虚拟出的一块逻辑内存，用作虚拟内存的磁盘空间被称为交换空间（Swap Space）。 作为物理内存的扩展，linux会在物理内存不足时，使用交换分区的虚拟内存，更详细的说，就是内核会将暂时不用的内存块信息写到交换空间，这样以来，物理内存得到了释放，这块内存就可以用于其它目的，当需要用到原始的内容时，这些信息会被重新从交换空间读入物理内存。 Linux的内存管理采取的是分页存取机制，为了保证物理内存能得到充分的利用，内核会在适当的时候将物理内存中不经常使用的数据块自动交换到虚拟内存中，而将经常使用的信息保留到物理内存。
Linux操作系统是一个开源产品，也是一个开源软件的实践和应用平台，在这个平台下有无数的开源软件支撑，我们常见的apache、tomcat、mysql、php等等，开源软件的最大理念是自由、开放，那么linux作为一个开源平台，最终要实现的是通过这些开源软件的支持，以最低廉的成本，达到应用最优的性能。因此，谈到性能问题，主要实现的是linux操作系统和应用程序的最佳结合。
解决系统性能问题的一般思路 下面从影响操作系统性能的因素、性能优化工具、系统性能评价标准三个方面介绍优化Linux的一般思路和方法。 影响Linux性能的因素 1．CPU CPU是操作系统稳定运行的根本，CPU的速度与性能很大一部分决定了系统整体的性能，因此，cpu数量越多、主频越高，服务器性能也就相对越好。但事实也并非完全如此。 目前大部分CPU在同一时间内只能运行一个线程，超线程的处理器可以在同一时间运行多个线程，因而，可以利用处理器的超线程特性提高系统性能，在linux系统下，只有运行SMP内核
大家如果想自己组装电脑的话，肯定需要购买一个 CPU，但是存储器方面的设备，分类比较多，那我们肯定不能只买一种存储器，比如你除了要买内存，还要买硬盘，而针对硬盘我们还可以选择是固态硬盘还是机械硬盘。
在我们日常工作中，可能会发现free的值（空闲）越来越低，我们会直观的认为内存耗尽，到达瓶颈了，其实，这只是Linux的为了提高文件读取的性能的内存使用机制罢了。不同于Windows，windows程序执行完后，会马上释放掉内存，把Memory降下来。而对于Linux，如果你的服务器内存还有足够多的空间的话，Linux会把程序运行的数据缓存起来，加入到Cache中，所以内存会不断增加，直到一定的限度为止.当超过这限度后，内核必须将脏页写回磁盘，以便释放内存。也就是说，当空闲内存低于一个特定的阈值时，内核的守护进程就会进行内存块回收，那我们如何判断内存达到瓶颈呢？
blkio 是 cgroup v1 中的一个子系统，使用 cgroup v1 blkio 子系统主要是为了减少进程之间共同读写同一块磁盘时相互干扰的问题。
1、什么是buffer与cache，它们各自的作用是什么 linux系统会把内存分为两种区域： buffer：缓冲区，攒一大波数据，再刷入硬盘 cache：缓存，把硬盘的数据在内存中缓存好，cpu取的时候可以直接从内存取 2、什么是内核态与用户态 内核态——>操作系统正在控制硬件 用户态-->应用程序正在运行 3、机械磁盘的IO延迟时间=平均寻道时间4ms+平均延迟时间5ms 4、一个7200转的硬盘带来的IO延迟大概是9ms 5、操作系统的启动流程是什么？ 1、计算机加电 2、启动BIOS（计算机启动一定会先启动bios系统），扫描启动设备，从某一个启动设备中找到操作系统 3、读取启动设备的第一个扇区的大小（称之为主引导记录mbr） 446 bootloader=》grub程序 64分区信息 2结束标志位 4、grub程序负责将操作系统内核装载入内存，启动操作系统 5、操作系统会让BIOS去检测驱动程序
很多使用过 Kafka 的网友都在鼓吹，Kafka 可以吊打一切其它 MQ。也造成了很多网友都觉得 Kafka 才是牛逼哄哄的存在，给很多在技术选型方面的人造成了误导。
项目需要使用的主板有很多性能需要经过测试之后才能用于开发使用，因此将Linux上一些常用的tools移植进板子进行测试。
我们知道外设访问内存需要通过DMA进行数据搬移，关于cpu, cache, device, dma, memory的关系可以通过下图说明：
内存： 大脑中的记忆区块，将皮肤、眼睛等所收集到的信息记录起来的地方，以供CPU进行判断。
Linux支持多种文件系统类型，包括ext2、ext3、vfat、jffs、romfs和nfs等，为了对各类文件系统进行统一管理，Linux引入了虚拟文件系统VFS(Virtual File System)，为各类文件系统提供一个统一的应用编程接口。
系统设计得再好，如不能及时完成业务处理也不行。为什么不同业务有不同优化需求，以及常见的优化方式和问题有哪些。
图2-1可以说是标准的生产库环境，处处体现了冗余，有效防止了单点故障。这就是HA（高可用）
先说说cpu的cache，和cpu的cache比起来访问主内存是非常慢的，为了加快速度根据本地性原则，cpu在访问主内存的时候会把附近的一块数据都加载到cpu的cache里，之后读写这块数据都是在cache里做的。
dnf（Dandified Yum）是一个RPM包管理器，用于管理Linux系统上的软件包。它对云服务器的配置要求取决于您的具体需求，至少需要1核CPU、1GB内存和足够的磁盘空间。
任何硬盘在使用前都要进行分区。硬盘的分区有两种类型：主分区和扩展分区。一个硬盘上最多只能有4个主分区，其中一个主分区可以用一个扩展分区来替换。也就是说主分区可以有1~4个，扩展分区可以有0-1个，而扩展分区中可以划分出诺干个逻辑分区。
高性能的服务器，不一定是多线程实现的，也就是说多线程不一定比单线程效率高，这得分具体的情况。以redis为例，核心处理请求的线程只有一个，所以我们常常理解其仅仅只有一个线程，但准确来说其实并不是单线程的，比如日志的备份需要单独的fork一个进程或者线程去做备份等，那么redis何来单线程还能达到如此10万+的qps呢？其实这取决于具体的实现，redis采用了基于高性能Reactor的IO多路复用的模式+内存数据结构+单线程处理网络请求这几块，决定了其性能高的原因。
小文件读写的性能瓶颈是磁盘的寻址（随机读写性能更差）,评估的标准是tps。大文件读写的性能瓶颈是带宽，评估的标准是持续的读写速度。Linux可以利用空闲内存作文件系统访问的cache，因此系统内存越大存储系统的性能也越好。
先来认识 CPU 的架构，只有理解了 CPU 的 架构，才能更好地理解 CPU 是如何读写数据的，对于现代 CPU 的架构图如下：
Linux中的/dev/shm目录不属于磁盘，而是内存，如果使用/dev/shm/目录作为Linux中的磁盘文件读写缓存，可想效率是非常惊人的。
用kafka做存储层，为什么呢？一大堆可以做数据存储的 MySQL、MongoDB、HDFS……
Kafka的消息是保存或缓存在磁盘上的，一般认为在磁盘上读写数据是会降低性能的，因为寻址会比较消耗时间，但是实际上，Kafka的特性之一就是高吞吐率。
因为硬盘每次读写都会寻址和写入，其中寻址是一个耗时的操作。所以为了提高读写硬盘的速度，Kafka使用顺序I/O，来减少了寻址时间：收到消息后Kafka会把数据插入到文件末尾，每个消费者（Consumer）对每个Topic都有一个offset用来表示读取的进度。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
云直播
