转载请注明博客地址： https://blog.csdn.net/zy010101/article/details/91127921 Linux...文件描述符 在Linux下当一个进程打开文件的时候，OS会返回相应的文件描述符，程序为了处理该文件必须使用这个文件描述符。...Linux操作系统给我们提供了6个系统调用create，open，write，close，read，lseek。系统调用是不带缓冲区的。他们是POSIX标准提供的。...如果返回了-1，表示出错，我们还可以由perror函数知道出现的错误具体是什么。 当Linux系统函数出错的时候，一般会返回一个负值给errno。POSIX和ISO C将errno定义为一个符号。...注意：在使用Linux的系统调用操作文件的时候，是无缓冲的，这点很重要。当你在做少量，大批次写入的时候效率会很低。因此注意使用缓冲（用数组的之类的暂时保存一下），能提高I/O效率。
-----今天是最后一篇文章关于linux系统下文件IO操作了，从明天起开始写文件属性的文章了，欢迎大家来学习，一起进步。（同时也欢迎大家批评指出错误，我会及时纠正过来的）。...标准IO是C库函数；而文件IO是linux系统的API，API类似于一种接口，是由操作系统提供的（说实话，在这之前，我这个人比较犟，好少会调用api,非得自己写一个函数，这样有的时候累的半死还不一定能够写出来...性能上和易用性上看，C库函数一般要好一些。譬如IO，文件IO是不带缓存的，而标准IO是带缓存的，等到合适的时间，我们的操作系统才会把写在缓冲区里的内容真正搞到下一层去。...因此标准IO比文件IO性能要更高（这里的下一层是指硬件层存储区域，而我们的标准IO函数是应用层方面，它先向系统缓冲区操作，然后等待系统里面的write等函数操作，才把数据弄到硬件层上去）。...3、常用标准IO函数介绍： 常见的标准IO库函数有：fopen、fclose、fwrite、fread、ffulsh（刷新标准库函数的缓存，直接写进操作系统的缓冲区中）、fseek（其实在写这个的话，我自己也对这些函数的用法是一脸的懵逼
用户程序在读写文件时既可以调用C标准I/O库函数,也可以直接调用 底层的Unbuffered I/O函数,那么用哪一组函数好呢? ...用Unbuffered I/O函数每次读写都要进内核,调一个系统调用比调一个用户空间的函数要慢很 多,所以在用户空间开辟I/O缓冲区还是必要的,用C标准I/O库函数就比较方便,省去了自己 管理I/O缓冲区的麻烦...C标准库函数是C标准的一部分,而Unbuffered I/O函数是UNIX标准的一部分,在所有支持C语言的 平台上应该都可以用C标准库函数(除了有些平台的C编译器没有完全符合C标准之外),而只有 在UNIX...平台上才能使用Unbuffered I/O函数,所以C标准I/O库函数在头文件stdio.h中声明, 而read 、write 等函数在头文件unistd.h 中声明。...参考: 《linux c 编程一站式学习》
文件I/O 直接使用系统调用的缺点: 影响系统性能 系统调用比普通函数调用开销大，因为系统调用要进行用户空间和内核空间的切换。 系统调用一次所能读写的数据量大小，受硬件的限制。...注意：直接IO的缺点就是如果访问的数据不在应用程序缓存中，那么每次数据都会直接从磁盘进行加载，这种直接加载会非常慢，通常直接IO跟异步IO结合使用会得到较好的性能。...---- O_SYNC 缓存同步 为了保证磁盘系统与缓冲区内容一致，Linux系统提供了sync,fsync,fdatasync三个函数。...函数描述:向打开的文件写数据，成功返回写入的字节数，出错则返回-1。...---- Linux文件IO流程图 内核中会有一个线程，不断地将高速页缓冲区中的数据写入到物理磁盘中。
且iovec结构是用于scatter/gather IO的。readv和writev函数用于在一次函数调用中读、写多个非连续缓冲区。...）*/ void *iov_base; /* Number of bytes to transfer（这块内存长度） */ size_t iov_len; }; linux...在Linux的哲学中，如何读并不是read和pread能决定的，而是由文件描述符本身决定的。文件描述符在创建的时候，就决定了它将被如何读取，比如说是否阻塞等等。...article/details/109888362 https://tangyilong.com/2019/02/20/struct-iovec/ https://evian-zhang.github.io...://evian-zhang.github.io/introduction-to-linux-x86_64-syscall/src/filesystem/read-pread64-readv-preadv-preadv2
本文将结合用户态的接口以及内核态的实现剖析文件IO。...Reference: The Linux Programming Interface: Chapter 4/14/15, Kernel/fs 通用接口 通用IO包含open/read/write/close...文件创建标志 - 创建以及后续IO的选项，不可读写。...return do_dentry_open(file, d_backing_inode(path->dentry), NULL); } do_dentry_open - 利用实际文件系统或者驱动的open函数打开...因为这个原因，写操作并不能实时的进行持久化，需要linux使用journal机制来保证文件系统的崩溃一致性，然而journal机制本身又需要进行flush。
sendfile函数在两个文件描述符之间传递数据（完全在内核中操作），从而避免了内核缓冲区和用户缓冲区之间的数据拷贝，效率很高，被称为零拷贝。...函数定义为： #include ssize_t senfile(int out_fd,int in_fd,off_t* offset,size_t count); in_fd...in_fd必须是一个支持类似mmap函数的文件描述符，即它必须指向真实的文件，不能是socket和管道，而out_fd必须是一个socket 首先我们来看看传统的read/write方式进行socket...当需要对一个文件进行传输的时候，具体流程细节如下： 1：调用read函数，文件数据copy到内核缓冲区 2：read函数返回，文件数据从内核缓冲区copy到用户缓冲区 3：write函数调用，将文件数据从用户缓冲区
回调函数：另一种方法是使用回调函数，程序发起一个 I/O 操作，然后指定一个回调函数，以便在操作完成时被调用。这样，程序可以继续执行其他任务，而无需轮询。...fdset 从用户态拷贝到内核态，在高并发下是个巨大的性能开销（可优化为不拷贝）； 调用 select 阻塞后，用户进程虽然没有轮询，但在内核还是通过遍历的方式来检查 fd 的就绪状态（可通过异步 IO.../linux/posix_types.h: # define __FD_SETSIZE 1024 此外在 Linux 内核中，select 所用到的 FD_SET 是有限的，即内核中有个参数...在 Linux 2.4 内核前主要是 select 和 poll，自 Linux 2.6 内核正式引入 epoll 以来，epoll 已经成为了目前实现高性能网络服务器的必备技术。...以下是一个简单的 Java AIO 示例 import java.io.IOException; import java.net.InetSocketAddress; import java.nio.ByteBuffer
而从步骤3到步骤5中间会涉及到大量 Linux IO 的原理，特别是Page Cache 和 Buffer Cache 等缓存。...Linux IO 缓存体系，stdio和内核缓存的区别，Page Cache和Buffer Cache的区别。 Buffered IO、mmap(2)、Direct IO的区别。...如图，当程序调用各类文件操作函数后，用户数据（User Data）到达磁盘（Disk）的流程如图所示[3]。图中描述了 Linux 下文件操作函数的层级关系和内存缓存层的存在位置。...所以后面的讨论基本上是讨论 IO 相关的系统调用和文件系统Page Cache的一些机制。 Linux内核中的IO栈 这一小节来看 Linux 内核的 IO 栈的结构。先上一张全貌图[4]： ?...设备层，通过 DMA 与内存直接交互，完成数据和具体设备之间的交互 结合这个图，想想Linux系统编程里用到的Buffered IO、mmap(2)、Direct IO，这些机制怎么和 Linux IO
Linux 中主要有五种IO模式：阻塞IO, 非阻塞IO, IO 多路复用，信号驱动IO和异步IO; 如果从同步非同步，阻塞非阻塞角度来看，又可以分为：同步阻塞IO, 同步非阻塞IO，异步阻塞IO和异步非阻塞...IO; 每种IO模型，都有自己的使用模式，他们对于特定的应用程序都有自己的优点：其简单分布如下图所示 ?...每种IO模型都有自己的使用场景，他们对于特定的应用程序都有自己的优点； 具体可参考：https://blog.csdn.net/tjiyu/article/details/52959418 XXX TO-DO
尽管修改后的str_cli函数已经可以同时处理输入和网络套接口的事件，但是它仍旧是不正确的。在它修改前的版本，即阻塞I/O模型下，一个回射请求的总时间是RTT（往返时间）加上服务器的处理时间。...绘制一系列请求过程： [以批量方式填充管道] 上图能够解释，为什么在当前版本的str_cli函数下，当我们对输入输出进行重定向时，输出文件总是会小于输入文件。...这就需要shutdown函数来完成。...shutdown 函数 # include int shutdown(int sockfd, int howto);//返回——0 成功，-1——出错 函数具体的行为取决于第二个参数...[调用shutdown关闭TCP连接的写一半] 再修订版str_cli函数 在上一节加入select模型的str_cli函数的基础上再次进行修改，标准输入遇到文件结束符时，调用shutdown函数，关闭
I/O复用——select函数 select函数 select函数让进程告诉内核，等待数个事件，某个事件发生或者达到指定时间时，唤醒进程。...这里说的描述字并不仅限于套接口，任何描述字都可以应用于select函数。...select函数实际上就变成了一个比函数sleep函数更精确的定时器（sleep精确到秒）。...在新版函数str_cli中，由select处理以下条件： 如果对方TCP发送数据，套接口就变为可读且read返回大于0的值（数据字节数）。...[函数str_cli中由select处理的条件] 修改函数str_cli [str_cli函数select版本与初始版本对比] 使用函数select 在新版的str_cli函数中，使用select函数，
前言 当前的计算系统除了包括对数据有 加工和处理 以外还有 搬运 这个 搬运 代表着 输入和输出 ，及 input/output ，简称 I/O UNIX/Linux 的缔造者们将数据的 来源和目标...《标准I/O (一)》 ，关于C语言的API(linux)可以参看 Linux C API 参考手册 在线文档 这里分享一下我在学习 UNIX I/O 库过程中的笔记和心得 ---- 概要 ----...标准IO库的常用函数 下面是一些 标准IO库中的常用函数 File *fopen(const char*path,const char *mode) int fseek(FILE *stream, long...路径都在/home/emacs/file/下 #include //标准IO库 #include //动态内存分配函数库 int slen(char *s)...//求字符串长度 (string.h中的strlen函数有相同功能) { int i=0; for(;*s!
Linux Asynchronous I/O Explained (Last updated: 13 Apr 2012) ***********************************...Linux kernel provides only *5* system calls for performing asynchronoes I/O....There are two main libraries in Linux that facilitate AIO, we will refer to them as *libaio* and *librt...Types and constants exported to the user space reside in "/usr/include/linux/aio_abi.h" header file....原文链接：https://www.fsl.cs.sunysb.edu/~vass/linux-aio.txt
对应到Linux的Page Cache上所谓Write Through就是指write(2)操作将数据拷贝到Page Cache后立即和下层进行同步的写操作，完成下层的更新后才返回。...Linux下Buffered IO默认使用的是Write back机制，即文件操作的写只写到Page Cache就返回，之后Page Cache到磁盘的更新操作是异步进行的。...磁盘的性能测试 在具体的机器上跑服务程序，如果涉及大量IO的话，首先要对机器本身的磁盘性能有明确的了解，包括不限于IOPS、IO Depth等等。...一般SSD的IO Depth都在32甚至更高，使用32或者64个线程才能跑满一个SSD磁盘的带宽（同步IO情况下）。 具体的SSD原理不在本文计划内，这里给出一篇详细的参考文章[7]。...写在最后 每天抽出不到半个小时，零零散散地写了一周，这是说是入门都有些谬赞了，只算是对Linux下的IO机制稍微深入的介绍了一点。
#include <sys/stat.h> #include <fcntl.h> #include <unistd.h> #include<assert....
本文主要讨论磁盘IO操作，故只聚焦于Local Disk的访问特性和其与DRAM之间的数据交互。 无处不在的缓存 ?...如图，当程序调用各类文件操作函数后，用户数据（User Data）到达磁盘（Disk）的流程如图所示[3]。图中描述了Linux下文件操作函数的层级关系和内存缓存层的存在位置。...在Linux下，文件的缓存习惯性的称之为Page Cache，而更低一级的设备的缓存称之为Buffer Cache....综上，既然讨论Linux下的IO操作，自然是跳过stdio库的用户态这一堆东西，直接讨论系统调用层面的概念了。对stdio库的IO层有兴趣的同学可以自行去了解。...所以下篇的讨论基本上是讨论IO相关的系统调用和文件系统Page Cache的一些机制。 （未完待续...）
前言 Linux 文件 IO 操作指的是在 Linux 系统上对文件进行读取和写入的操作。它是通过与文件系统交互来读取和写入文件中的数据。...在 Linux 中，文件被视为一系列字节的有序集合，每个文件都有一个相关联的文件描述符，用于标识该文件的唯一标识符。文件 IO 操作允许程序从文件读取数据或将数据写入文件。...文件 IO 操作通常包括以下几个主要方面： open函数 int open(char *pathname, int flags); -->#include 参数： pathname...与睡眠状态相对的是运行状态，在Linux内核中，处于运行状态的进程分为两种状态： 正在被调度执行。...od_tcx filename 查看文件的16进制 应用场景： 1.文化的 读，写使用同一偏移位置 2.使用lseek获取文件大小 3.使用lseek拓展文件大小，要想使文件大小真正拓展，必须要引起IO
open函数 #include #include #include int open(const char *pathname
Linux 标准 I/O（Standard I/O）库提供了一组函数，用于进行高级别的文件输入和输出操作。它建立在底层文件 I/O 系统调用之上，为开发者提供了更方便、更高级别的文件处理方式。...以下是一些常用的 Linux 标准 I/O 库函数： 1. 文件指针 标准 I/O 使用 FILE 结构表示文件流，通过文件指针（FILE*）进行操作。...全缓冲：当缓冲区满时，或者使用 fflush 函数时，缓冲区会被刷新。...标准输入输出流的复制 通过 dup 或 dup2 函数，可以复制文件描述符，实现标准输入输出流的重定向。 int dup(int oldfd); 复制文件描述符，返回新的文件描述符。...\n"); perror("An error occurred"); return 0; } 以上是 Linux 标准 I/O 库的一些高级特性，包括缓冲机制、输入输出重定向和文件描述符的复制
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
