Kafka是大数据领域无处不在的消息中间件，目前广泛使用在企业内部的实时数据管道，并帮助企业构建自己的流计算应用程序。Kafka虽然是基于磁盘做的数据存储，但却具有高性能、高吞吐、低延时的特点，其吞吐量动辄几万、几十上百万，这其中的原由值得我们一探究竟。本文属于Kafka知识扫盲系列，让我们一起掌握Kafka各种精巧的设计。
文件系统—一种把数据组织成文件和目录的存储方式，提供了基于文件的存取接口，并通过文件权限控制访问。
上一篇所说的micr-batch 其实主要是针对producer 来实现的，Kafka整体吞吐量高可不只是依赖于micr-batch这一点，还有broker端及consumer端。
第一种：主从复制+读写分离 客户端通过Master对数据库进行写操作，slave端进行读操作，并可进行备份。Master出现问题后，可以手动将应用切换到slave端。 对于数据实时性要求不是特
解决系统性能问题的一般思路 下面从影响操作系统性能的因素、性能优化工具、系统性能评价标准三个方面介绍优化Linux的一般思路和方法。 影响Linux性能的因素 1．CPU CPU是操作系统稳定运行的根本，CPU的速度与性能很大一部分决定了系统整体的性能，因此，cpu数量越多、主频越高，服务器性能也就相对越好。但事实也并非完全如此。 目前大部分CPU在同一时间内只能运行一个线程，超线程的处理器可以在同一时间运行多个线程，因而，可以利用处理器的超线程特性提高系统性能，在linux系统下，只有运行SMP内核
vmstat命令可以显示关于系统各种资源之间相关性能的简要信息，这里主要用它来看CPU的一个负载情况。
记得十几年前还在用早期 Windows 系统的时候，每用一段时间系统都会变得很卡顿，这时候需要打开系统提供的下面的磁盘碎片整理程序，当碎片整理完成后会感觉到系统变得稍微流畅了一些。
昨天博客加了WP Super Cache缓存插件，速度提升明显。使用这类插件可以将PHP动态页面在首次访问时生成html静态页面并存储在硬盘中，当其他访客再次访问时直接读取该静态页面，这样不需要再次通过PHP生成动态页面也不需要再从数据库中读取数据，大幅降低系统资源消耗，且大幅提升了页面打开速度。
该命令可以显示关于系统各种资源之间相关性能的简要信息，这里我们主要用它来看CPU的一个负载情况。
因为硬盘每次读写都会寻址和写入，其中寻址是一个耗时的操作。所以为了提高读写硬盘的速度，Kafka使用顺序I/O，来减少了寻址时间：收到消息后Kafka会把数据插入到文件末尾，每个消费者（Consumer）对每个Topic都有一个offset用来表示读取的进度。
EasyCVR是我们设备接入协议最为广泛的视频平台，包括安防市场的主流标准协议国标GB28181、RTSP/Onvif、RTMP等，以及厂家私有协议与SDK，如海康Ehome、海康SDK、大华SDK等。在视频能力上，EasyCVR支持海量视频汇聚管理，可提供视频监控直播、云端录像、云存储、录像检索与回看、智能告警、平台级联、智能分析等视频服务。
CPU是操作系统稳定运行的根本，CPU的速度与性能在很大程度上决定了系统整体的性能，因此，CPU数量越多、主频越高，服务器性能也就相对越好。但事实上并非完全如此。
环形缓冲区通常有一个读指针和一个写指针。读指针指向环形缓冲区中可读的数据，写指针指向环形缓冲区中可写的缓冲区。通过移动读指针和写指针就可以实现缓冲区的数据读取和写入。在通常情况下，环形缓冲区的读用户仅仅会影响读指针，而写用户仅仅会影响写指针。如果仅仅有一个读用户和一个写用户，那么不需要添加互斥保护机制就可以保证数据的正确性。如果有多个读写用户访问环形缓冲区，那么必须添加互斥保护机制来确保多个用户互斥访问环形缓冲区。
一般互联网的项目都是部署在linux服务器上的，如果linux服务器出了问题，那么咱们平时学习的高并发，稳定性之类的是没有任何意义的，所以对linux性能的把握就显得非常重要，当然很多同学可能觉得这些是运维同学的事情，但是我不这么认为，不管你是架构师，还是crud boy，对项目有个全局的掌控是一项非常重要的基本素质，所以总结了这篇文章，希望对您有用，如果您觉得我写的还不错，看完记得点个赞，点个再看哦。咱们废话不用多说，直接进入正题。
GNU计划（又称革奴计划），是由Richard Stallman（理查德·斯托曼）在1983年9月27日公开发起的自由软件集体协作计划。它的目标是创建一套完全自由的操作系统。GNU也称为自由软件工程项目。
Linux操作系统是一个开源产品，也是一个开源软件的实践和应用平台，在这个平台下有无数的开源软件支撑，我们常见的apache、tomcat、mysql、php等等，开源软件的最大理念是自由、开放，那么linux作为一个开源平台，最终要实现的是通过这些开源软件的支持，以最低廉的成本，达到应用最优的性能。因此，谈到性能问题，主要实现的是linux操作系统和应用程序的最佳结合。
作者：Linux云计算架构 链接：https://mp.weixin.qq.com/s/r8SvHyPKWUG1AwRIn9ah5w
原文链接：http://7424593.blog.51cto.com/7414593/1744358
Kafka是大数据领域无处不在的消息中间件，目前广泛使用在企业内部的实时数据管道，并帮助企业构建自己的流计算应用程序。
我们经常遇到iowait这个名词，在top命令中，vmstat中，sar命令中，都有它的身影。很多同学按照经验，当看到iowait非常高的时候，一般判定为磁盘I/O有瓶颈，但这并不完全正确。 io并不是一个可靠值。
病毒感染是一种常见的计算机威胁，它会在计算机系统中占用大量资源，导致系统运行缓慢，甚至出现崩溃或死机的情况。为了保护计算机系统的安全和稳定，定期进行病毒查杀是非常必要的。病毒查杀可以通过各种杀毒软件或安全软件来进行，这些软件能够检测和清除计算机中的病毒，从而保护计算机系统的安全和稳定。
打开 Default Value 可以和 代码中设置 ini_set('display_errors','On');起到同样的效果
https://www.cnblogs.com/poloyy/category/1806772.html
对 Linux 稍有了解的人都知道，Linux 会将物理的随机读取内存（Random Access Memory、RAM）按页分割成 4KB 大小的内存块，而今天要介绍的 Swapping 机制就与内存息息相关，它是操作系统将物理内存页中的内容拷贝到硬盘上交换空间（Swap Space）以释放内存的过程，物理内存和硬盘上的交换分区组成了操作系统上可用的虚拟内存，而这些交换空间都是系统管理员预先配置好的[^1]。
今天发现突然有一台主机无缘无故死机了，于是翻看了/var/log/message日志，发现提示： echo 0 > /proc/sys/kernel/hung_task_timeout_secs;
之前写过一篇 《 在公司做的项目和自己在学校做的有什么区别？ 》不知道大家还有印象没有，里面提到了在工作中可能需要等上Linux服务器，查看一些信息（特别是查日志找Bug)。
线上出现了问题，登上线上的机器查日志是非常常见的操作了。我第一次登上线上机器查日志的时候，我还只记得以下的几个命令（假设现在我们的日志文件叫做service.log)：
CPU 过高、Full GC次数过多、内存使用过多、硬盘空间不足等问题，都会带来系统突然运行缓慢的问题，也是面试特别容易被问到的，下面针对系统运行缓慢等问题进行展开。
一、网站性能测试 （1）性能测试指标：①响应时间；②并发数；③吞吐量；④性能计数器； （2）性能测试方法：①性能测试；②负载测试；③压力测试；④稳定性测试； （3）性能优化策略： ①性能分析：检查请求处理各个环节的日志，分析哪个环节响应时间不合理，检查监控数据分析影响性能的因素； ②性能优化：Web前端优化，应用服务器优化，存储服务器优化； 二、Web前端性能优化 （1）浏览器访问优化： ①减少http请求：因为http是无状态的，每次请求的开销都比较昂贵（需要建立通信链路、进行数据传输，而服务器
但是，在学校学完，没咋练手（还是太菜了），去到公司可以说是全忘光了。这篇文章主要来回顾以前的笔记，以及记录一下在工作中比较常用的一些命令。
IO，即Input/Output，指的是程序从外部设备或者网络读取数据到用户态内存/从用户态内存写数据到外部设备或者网络的过程。
本文翻译自国外论坛 medium，原文地址：https://levelup.gitconnected.com/4-reasons-why-single-threaded-redis-is-so-fast-414e0106f921
性能调优是找出系统瓶颈并消除这些瓶颈的过程。 很多系统管理员认为性能调优仅仅是调整一下内核的参数即可解决问题， 事实上情况并不是这样。 性能调优是实现操作系统的各个子系统之间的平衡性，这些子系统包括：
1、CPU，如果存在大量的计算，他们会长时间不间断的占用CPU资源，导致其他资源无法争夺到CPU而响应缓慢，从而带来系统性能问题，例如频繁的FullGC，以及多线程造成的上下文频繁的切换，都会导致CPU繁忙，一般情况下CPU使用率<75%比较合适。 2、内存，Java内存一般是通过jvm内存进行分配的，主要是用jvm中堆内存来存储Java创建的对象。内存的读写速度非常快，但是内存空间又是有限的，当内存空间被占满，对象无法回收时，就会导致内存溢出或内存泄漏。 3、磁盘I/O，磁盘的存储空间要比内存存储空间大很多，但是磁盘的读写速度比内存慢，虽然现在引入SSD固态硬盘，但是还是无法跟内存速度相比。 4、网络，带宽的大小，会对传输数据有很大影响，当并发量增加时，网络很容易就会成为瓶颈。 5、异常，Java程序，抛出异常，要对异常进行捕获，这个过程要消耗性能，如果在高并发的情况下，持续进行异常处理，系统的性能会受影响。 6、数据库，数据库的操作一般涉及磁盘I/O的读写，大量的数据库读写操作，会导致磁盘I/O性能瓶颈，进而导致数据库操作延迟。 7、当在并发编程的时候，经常会用多线程操作同一个资源，这个时候为了保证数据的原子性，就要使用到锁，锁的使用会带来上下文切换，从而带来性能开销，在JDK1.6之后新增了偏向锁、自旋锁、轻量级锁、锁粗化、锁消除。
注意事项：除了 Direct I/O，与磁盘相关的文件读写操作都有使用到 page cache 技术。
服务器性能测试是一项非常重要而且必要的工作，本文是作者Micheal在对服务器进行性能测试的过程中不断摸索出来的一些实用策略，通过定位问题，分析原因以及解决问题，实现对服务器进行更有针对性的优化，提升服务器的性能。
每次对Xcode iOS项目进行clean、build或者在iOS虚拟机上launch，Xcode都会在DeriveData文件夹中进行读写操作。换句话说，就是将Derived Data的读写从硬盘移动到内存中。 DeriveData文件夹中包含了所有的build信息、debug- 和 release- built targets以及项目的索引。当遇到零散索引（odd index）问题（代码块补全工作不正常、经常性的重建索引、或者运行项目缓慢）时，它可以有效地删除衍生数据。删除这个文件夹将会导致所有Xcode上的项目信息遭到破坏。
木桶理论又称短板理论，其核心思想是一只木桶盛水多少，并不取决于最高的木板，而取决于最短的那块木板。
有的应用需要大量计算，他们会长时间、不间断占用CPU资源，导致其他资源无法争夺CPU而响应缓慢，从而带来系统性能问题。例如：代码递归导致的无限循环，正则表达式引起的回溯问题，JVM频繁的FULL GC，以及多线程编程导致的大量上下文切换等，这些都是导致CPU资源繁忙的因素。
java 程序是运行在jvm 虚拟机里面的，离开jvm虚拟机，那么java程序无法直接在linux平台的运行。 所以java应用程序和os 平台之间是隔着jvm虚拟机的。 所谓的jvm虚拟机，本质上就是一个进程，此时它的内存模型和普通的进程有相同之处，但它又是java程序的管理者，所以它又有自己独特的内存模型. 从os层面来看jvm的进程，其内存模型包含如下几个部分： 内核内存 + jvm的code + jvm的data + jvm的 heap + jvm的stack + unused memory. 其中的heap, stack 就是我们常说的“堆栈” 空间. 我们更多需要从jvm作为java程序管理者的角度来看其内存模型： 此时jvm的内存空间可以分为两大类，分别是 “堆内存” 以及“非堆内存”，其中前者是可以分配给java程序使用的，而后者则是jvm进程自己使用的。 所以“堆内存”是我们要讨论的重点：
在专栏之前的几篇文章中，我们总结了缓冲池，缓存页，redo log，undo log，以及数据页和数据行在底层是如何进行存储的，后续介绍了表空间，段，区等概念。这一节比较特殊，讲述的是和Linux有关的交互原理，因为多数的mysql都是部署在linux的服务器上面，本节会简单介绍一下linux是如何处理mysql的请求的，以及linux系统会带来哪些问题
最近笔者在看性能分析相关的是知识，就特意针对内存整理了这一篇文章，在这里笔者主要从下面三个方面来介绍这方面的知识： 1.内存的作用是什么，他在操作系统中的基础知识都有哪一些？ 2.查看内存和内存相关问题涉及到的工具都有哪一些，他们的使用方式是什么样子的？ 3.碰到内存问题的时候，我们需要怎么去定位呢？
此篇已收录至《大型网站技术架构》读书笔记系列目录贴，点击访问该目录可获取更多内容。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
