不同版本的操作系统的 buffer_head 代表的大小可能不一样，但是都是内存和硬盘交换数据的基本单元。
最近在研究 JAVA NIO 的相关知识，学习NIO，就不能提到IO的原理和事项，必经NIO是基于IO进化而来
1. 如果没有fork创建子进程的步骤，无论是运行进程还是将运行结果重定向到log.txt文件，两者输出结果都是相同的，均为4条打印信息
本节讨论了一些提高应用程序性能的常用技术:选择UO大小、缓存、缓冲区、轮询、并发和并行、非阻塞 JO 和处理器绑定。参考应用程序文档看看这些技术哪些在应用，看看有没有应用程序其他的独有特性。
java 程序是运行在jvm 虚拟机里面的，离开jvm虚拟机，那么java程序无法直接在linux平台的运行。 所以java应用程序和os 平台之间是隔着jvm虚拟机的。 所谓的jvm虚拟机，本质上就是一个进程，此时它的内存模型和普通的进程有相同之处，但它又是java程序的管理者，所以它又有自己独特的内存模型. 从os层面来看jvm的进程，其内存模型包含如下几个部分： 内核内存 + jvm的code + jvm的data + jvm的 heap + jvm的stack + unused memory. 其中的heap, stack 就是我们常说的“堆栈” 空间. 我们更多需要从jvm作为java程序管理者的角度来看其内存模型： 此时jvm的内存空间可以分为两大类，分别是 “堆内存” 以及“非堆内存”，其中前者是可以分配给java程序使用的，而后者则是jvm进程自己使用的。 所以“堆内存”是我们要讨论的重点：
上一篇文章 主要分析了 Linux 原生 AIO 的原理和使用，而这篇要介绍的是 Linux 原生 AIO 的实现过程。
上一篇《不可不知的Linux中三种缓冲模式》中说到了三种缓冲类型，这一篇主要讲与缓冲相关的函数，这些函数可以修改默认的缓冲类型，及在实际中可能遇到的问题。
该文介绍了muduo库的EventLoop、Buffer、EventLoopThread等基本概念，以及其网络编程模型。通过示例阐述了muduo中EventLoop的两种触发模式、线程安全和非阻塞性，以及其与muduo::Loop的关系。还讲解了Buffer的读写操作，以及其在muduo网络编程模型中的作用。
对每个人而言，真正的职责只有一个：找到自我。然后在心中坚守其一生，全心全意，永不停息。所有其它的路都是不完整的，是人的逃避方式，是对大众理想的懦弱回归，是随波逐流，是对内心的恐惧 ——赫尔曼·黑塞《德米安》
Flink的内存管理是基于JVM内存模型的，所以，在内存调优或者解决各种OOM等问题时JVM内存管理是绕不开的话题。本文以Direct Memory为切入点，探索堆外内存、直接内存、以及他们在Java NIO源码中如何体现的。最后，简单介绍Java NIO的零拷贝在Kafka和Netty中的应用。
零拷贝（Zero-Copy）是一个大家耳熟能详的概念，那么，具体有哪些框架会使用到零拷贝呢？在思考这个问题之前，让我们先一起探寻一下零拷贝机制的底层原理。
摘要 关于epoll的问题很早就像写文章讲讲自己的看法，但是由于ffrpc一直没有完工，所以也就拖下来了。Epoll主要在服务器编程中使用，本文主要探讨服务器程序中epoll的使用技巧。Epoll一般和异步io结合使用，故本文讨论基于以下应用场合： 主要讨论服务器程序中epoll的使用，主要涉及tcp socket的相关api。 Tcp socket 为异步模式，包括socket的异步读写，以及监听的异步操作。 本文不会过多讨论API的细节，而是专注流程与设计。 Epoll 的io模型 Epol
在看本文之前，建议先看一下之前的一篇文章，至少要知道标准IO里面各个类之间的关系：
在选择压缩算法的时候，首先要考虑的就是压缩比和压缩速率。压缩比主要是为了节省网络带宽和磁盘存储空间，而压缩速率主要影响吞吐量。
缓冲区是所有 I/O 的基础，I/O 讲的无非就是把数据移进或移出缓冲区；进程执行 I/O
引言 传统的 Linux 操作系统的标准 I/O 接口是基于数据拷贝操作的，即 I/O 操作会导致数据在操作系统内核地址空间的缓冲区和应用程序地址空间定义的缓冲区之间进行传输。这样做最大的好处是可以减少磁盘 I/O 的操作，因为如果所请求的数据已经存放在操作系统的高速缓冲存储器中，那么就不需要再进行实际的物理磁盘 I/O 操作。但是数据传输过程中的数据拷贝操作却导致了极大的 CPU 开销，限制了操作系统有效进行数据传输操作的能力。 零拷贝（ zero-copy ）技术可以有效地改善数据传输的性能，在内核驱动程序（比如网络堆栈或者磁盘存储驱动程序）处理 I/O 数据的时候，零拷贝技术可以在某种程度上减少甚至完全避免不必要 CPU 数据拷贝操作。
在前文中学习了open函数，我们知道open函数的返回值就是文件描述符，本章将对文件描述符进行详细讲解。
在计算机操作系统中，所谓的I/O就是 输入（Input）和输出（Output），也可以理解为读（Read）和写（Write)，针对不同的对象，I/O模式可以划分为磁盘IO模型和网络IO模型。
buffer机制，请求缓冲区在nginx处理请求中起着重要作用，接收到请求时，nginx将其写入这些缓冲区，缓冲区数据可作为nginx变量使用。
感觉目前看到介绍 io_uring 的文章还是比较少，大部分都集中在对其原理性的介绍和简单的对官方文档的翻译，真正结合实际的例子还是比较少。本文翻译整理自一篇博客：
在 C语言 的文件流中，存在一个 FILE 结构体类型，其中包含了文件的诸多读写信息以及重要的文件描述符 fd，在此类型之上，诞生了 C语言 文件相关操作，如 fopen、fclose、fwrite 等，这些函数本质上都是对系统调用的封装，因此我们可以根据系统调用和缓冲区相关知识，模拟实现出一个简单的 C语言 文件流
在笔者上一篇博客，详解了NIO，并总结NIO相比BIO的效率要高的三个原因，点击查看。
在之前的文章中分别详细讲解网络IO模型以及IO复用模型技术实现的本质,关于epoll的技术分析,发现存在部分知识点不够严谨且也有些混乱,即epoll技术在linux底层内核源码实现中暂时没有看到有使用虚拟内存分配的技术实现,因此对此知识点持有怀疑但保留网络上的技术资料观点;其次关于epoll技术实现上,正是通过使用中间层的设计思想来解决本身select/poll无法扩展的局限性,同时借助分散的设计思想来解决select/poll存在的性能,最后我们会关注与epoll相关的其他高级轮询技术以及在早期中C10K问题是如何解决的,同时互联网技术发展至今,又出现C10M问题,解决思路有哪些可以借鉴的.
1.空文件也要在磁盘占据空间 2.文件 = 内容 + 属性 3.文件操作 = 对内容 + 对属性 4.标定一个文件，必须使用文件路径 + 文件名（唯一性） 5.如果没有指明对应的文件路径，默认是在当前路径进行访问 6.当我们把fopen,fclose,fread,fwrite等接口写完之后，代码编译之后，形成二进制可执行程序之后，但是没运行，文件对应的操作有没有被执行呢？没有 —— 对文件操作的本质是进程对文件的操作。 7.一个文件如果没被打开，可以直接进行文件访问吗？？不能！一个文件要被访问，就必须先被打开！（被打开的时候是用户调用端口，操作系统负责操控硬件，所以这个操作是用户进程和操作系统共同完成的） 8.磁盘的文件不是所有的都被打开，是一部分被打开，一部分关闭。 总结：文件操作的本质是进程和被打开文件之间的关系。
从基础讲起，IO的原理和模型是隐藏在编程知识底下的，是开发人员必须掌握的基础原理，是基础的基础，更是通关大厂面试的必备知识。
原文:https://blog.csdn.net/AI_ELF/article/details/122547439
很多的小伙伴，被java IO 模型，搞得有点儿晕，一会儿是4种模型，一会儿又变成了5种模型。
文件描述符 fd 是基础IO中的重要概念，一个 fd 表示一个 file 对象，如常用的标准输入、输出、错误流的 fd 分别为 0、1、2，实际进行操作时，OS 只需要使用相应的 fd 即可，不必关心具体的 file，因此我们可以对标准流实施 重定向，使用指定的文件流，在实际 读/写 时，为了确保 IO 效率，还需要借助 缓冲区 进行批量读取，最大化提高效率。关于上述各种概念，将会在本文中详细介绍，且听我娓娓道来
Redis 数据库采用 I/O 多路复用技术实现文件事件处理器，服务器采用单线程单进程的方式来处理多个客户端发送过来的命令请求，它同时与多个客户端建立网络通信。服务器会为与它相连接的客户端创建相应的 redis.h/redisClient 结构，在这个结构中保存了当前客户端的相关属性及执行相关功能时的数据结构。
之前记录过处理因为 LVS 网卡流量负载过高导致软中断发生丢包的问题，RPS 和 RFS 网卡多队列性能调优实践[1]，对一般人来说压力不大的情况下其实碰见的概率并不高。这次想分享的话题是比较常见服务器网卡丢包现象排查思路，如果你是想了解点对点的丢包解决思路涉及面可能就比较广，不妨先参考之前的文章如何使用 MTR 诊断网络问题[2]，对于 Linux 常用的网卡丢包分析工具自然是 ethtool。
公众号《鲁大猿》 ，寻精品资料，帮你构建Java全栈知识体系 http://www.jiagoujishu.cn
维持了 20 天的复赛终于告一段落了，国际惯例先说结果，复赛结果不太理想，一度从第 10 名掉到了最后的第 36 名，主要是写入的优化卡了 5 天，一直没有进展，最终排名也是定格在了排行榜的第二页。痛定思痛，这篇文章将自己复赛中学习的知识，成功的优化，未成功的优化都罗列一下。
实际上，零拷贝是有广义和狭义之分，目前我们通常听到的零拷贝，包括上面这个定义减少不必要的拷贝次数都是广义上的零拷贝。其实了解到这点就足够了。
「Zero-copy」 describes computer operations in which the CPU does not perform the task of copying data from one memory area to another. This is frequently used to save CPU cycles and memory bandwidth when transmitting a file over a network.
我们看到，通过 DMA 芯片进行的硬盘读写过程需要进行四次特权级切换和四次拷贝操作。
为了快速构建项目，使用高性能框架是我的职责，但若不去深究底层的细节会让我失去对技术的热爱。 探究的过程是痛苦并激动的，痛苦在于完全理解甚至要十天半月甚至没有机会去应用，激动在于技术的相同性，新的框架不再是我焦虑。 每一个底层细节的攻克，就越发觉得自己对计算机一无所知，这可能就是对知识的敬畏。
Java IO 是一个庞大的知识体系，很多人学着学着就会学懵了，包括我在内也是如此，所以本文将会从 Java 的 BIO 开始，一步一步深入学习，引出 JDK1.4 之后出现的 NIO 技术，对比 NIO 与 BIO 的区别，然后对 NIO 中重要的三个组成部分进行讲解（缓冲区、通道、选择器），最后实现一个简易的客户端与服务器通信功能。
传统的UNIX实现在内核中设有缓冲区高速缓存或页面高速缓存，大多数磁盘I/O都通过缓冲进行。当将数据写入文件时，内核通常先将该数据复制到其中一个缓冲区中，如果该缓冲区尚未写满，则并不将其排入输出队列，而是等待其写满或者当内核需要重用该缓冲区以便存放其他磁盘块数据时，再将该缓冲排入输出队列，然后待其到达队首时，才进行实际的I/O操作。这种输出方式被称为延迟写（delayed write）（Bach [1986]第3章详细讨论了缓冲区高速缓存）。 延迟写减少了磁盘读写次数，但是却降低了文件内容的更新速度，使得欲写到文件中的数据在一段时间内并没有写到磁盘上。当系统发生故障时，这种延迟可能造成文件更新内容的丢失。为了保证磁盘上实际文件系统与缓冲区高速缓存中内容的一致性，UNIX系统提供了sync、fsync和fdatasync三个函数。 sync函数只是将所有修改过的块缓冲区排入写队列，然后就返回，它并不等待实际写磁盘操作结束。 通常称为update的系统守护进程会周期性地（一般每隔30秒）调用sync函数。这就保证了定期冲洗内核的块缓冲区。命令sync(1)也调用sync函数。 fsync函数只对由文件描述符filedes指定的单一文件起作用，并且等待写磁盘操作结束，然后返回。fsync可用于数据库这样的应用程序，这种应用程序需要确保将修改过的块立即写到磁盘上。 fdatasync函数类似于fsync，但它只影响文件的数据部分。而除数据外，fsync还会同步更新文件的属性。
接触过网络开发的人，大抵都知道，上层应用使用send函数发送数据，使用recv来接收数据，而send和recv的实现原理又是怎样的呢？
在系统遇到各种IO瓶颈，内存使用率高，cpu使用率高等问题时，我们如何来定位错误？linux提供了很多命令来协助我们快速定位到错误，free命令是Linux最常用的命令之一：它可以查看系统的内存状况，包括服务器的总内存，已经使用的内存和剩下未被使用的内存，以及缓冲区和缓存各自占用的内存情况。
在 NIO 中有几个核心对象需要掌握：缓冲区（Buffer）、选择器（Selector）、通道（Channel）
前一段时间研究了大规模日志流高吞吐并行存储，通过深入研究Kafka的底层存储机制。我们发现Kafka的Zero-Copy零拷贝技术采用的是Java底层FileTransferTo方法，后期我们尝试了对TransferTo性能及其并行性能进行测试。以及后面在Kafka上面实现了并行TransferTo方法，并应有到了Apache Kafka系统中。
我相信大部分人看到这些名词，都是一头雾水的，如果你去搜索引擎搜索，那么恭喜你，你又会被各种文章中的高大上的名词搞得云里雾里。那么，我们应该怎么理清这么名词之间的关系呢？
在这个连接的生命周期里，绝大部分时间都是空闲的，活跃时间（发送数据和接收数据的时间）占比极少，这样独占一个服务器是严重的资源浪费。事实上所有的服务器都是高并发的，可以同时为成千上万个客户端提供服务，这一技术又被称为IO复用。
我们在日常电脑操作中，接触和处理最多的，除了上网，大概就是各种各样的文件了，从本节开始，我们就来探讨文件处理，本节主要介绍文件有关的一些基本概念和常识，Java中处理文件的基本思路和类结构，以及接来下章节的安排思路。 基本概念和常识 二进制思维 为了透彻理解文件，我们首先要有一个二进制思维。所有文件，不论是可执行文件、图片文件、视频文件、Word文件、压缩文件、txt文件，都没什么可神秘的，它们都是以0和1的二进制形式保存的。我们所看到的图片、视频、文本，都是应用程序对这些二进制的解析结果。 作为程序员，我
现在操作系统都是采用虚拟存储器，操作系统的核心是内核，独立于普通的应用程序，可以访问受保护的内存空间，也有访问底层硬件设备的所有权限。为了保证用户进程不能直接操作内核（kernel），保证内核的安全，操作系统将虚拟内存划分为两部分，一部分为内核空间，一部分为用户空间。对于32位操作系统，它的寻址空间（虚拟存储空间）为4G（2的32次方），linux操作系统中将最高的1G字节（从虚拟地址0xC0000000到0xFFFFFFFF）供内核使用，称为内核空间，而将较低的3G字节（从虚拟地址0x00000000到0xBFFFFFFF）供各个用户进程使用，称为用户空间。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
