专栏首页专注网络研发多线程下的fwrite和write

多线程下的fwrite和write

Linux下的文件操作,有人喜欢用C库的文件流操作,有人喜欢用Linux的原生的系统调用。一般来说,C库的文件操作会更高效一些,因为C库自己做了文件缓存的处理。今天,主要研究多线程下的fwrite与write,每个线程都对相同的FILE*或者fd进行写操作,看看结果是否为预期行为。

第一种情况:使用C库的fwrite,其线程的实现如下:

第二种情况:使用系统调用write,其线程的实现如下:

下面看主线程的实现:

其中LOOPS定义为1000000。也就是说,线程1~3分别写入"aaaaaa\n","bbbbbb\n",和"cccccc\n"各一百万次。如果写入文件的操作是“线程安全”的,那么最终的文件行数应该是3百万行,且每行只可能是"aaaaaa"、"bbbbbb"、和"cccccc"的一种。

接下来看测试结果:

  1. 定义了宏USE_CLIB,即使用C库的fwrite,其结果如下:

2. 注释掉红USE_CLIB,即直接使用系统调用write,其结果如下:

从上面的测试结果看,无论是C库的fwrite还是系统调用的write都可以保证输出不会混杂——即多线程的输出不会混在一起,但是使用系统调用write时,最终的文件行数是非预期的,远小于总数3百万行。也就证明了,write系统调用是非“线程安全”的。多线程下,其输出会互相覆盖。而C库的fwrite是线程安全的函数。

为什么结果是这样的?我们先看fwrite的实现,下面的代码来自与glibc的截图。

在fwrite内部,其使用一个lock保证操作的串行化,从而实现线程安全。

而write的实现,见下图:

在写入之前,使用file_pos_read拿到偏移。如果在多核多线程的情况下,两个核心可能同时陷入内核态,同时获得文件的当前偏移,其值必然是相等的。于是两个线程往同一个偏移写入了数据。最后导致文件的实际大小,并不是预期大小。

最后总结:C库的fwrite是线程安全函数,而系统调用write则需要额外的标志位O_APPEND做追加写,来保证偏移的不重叠,实现预期的并发写入 —— 大家可以通过修改下面的测试代码,在自己的环境中测试。

PS:

1. 完整的测试代码位于:https://github.com/gfreewind/LinuxDetails/blob/master/fs/5.multi_thread_write_file/multi_thread_write_file.c

本文分享自微信公众号 - LinuxerPub(LinuxerPub),作者:glinuxer

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2017-06-11

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • Linux内核那些事之连接跟踪

    连接跟踪(也叫会话管理)是状态防火墙关键核心,也是很多网元设备必不可少的一部分。各厂商的实现原理基本雷同,只是根据各自的业务进行修改和优化。其中,还有不少厂商干...

    glinuxer
  • VSZ与RSS

    使用ps命令查看进程的内存使用情况时,有3列输出,分别是%MEM、VSZ和RSS,其中VSZ全称为Virtual Memory Size,RSS...

    glinuxer
  • 容器常用虚拟网络接口之一,veth

    现在容器已经得到了广泛使用,用于实现轻量级的虚拟化,资源的隔离等。Docker则是目前应用最广泛的容器实现。而Docker的实现,依赖于Linu...

    glinuxer
  • 树莓派基础实验12:PCF8591模数转换器实验

       PCF8591 是单片、单电源低功耗8位CMOS数据采集器件,具有4个模拟输入(其中一个为电压模拟输入)、一个模拟输出和一个串行I2C总线接口。3个地址引...

    张国平
  • 聚合盗链侵权案例研究报告

    image.png 腾讯研究院版权研究中心   【导语】当前,我国网络视频产业正版化发展显著。2011年以来,我国网络视频行业持续高速增长,2015年其...

    腾讯研究院
  • 互联网早知道

    1、反欺诈白皮书 :男人更容易受骗,广东受骗人数最多 2、阿里组织架构调整:天猫升级为“大天猫” 3、百度将推出智能小游戏Layabox完成引擎适配支持 4、苹...

    程序员的酒和故事
  • 麦卡伦VR体验|喝惯了82年的拉菲,那VR版的威士忌呢?

    然而不是每个人都有办法前往苏格兰,参观他们最喜欢的酿酒厂。为了帮助爱好者们实现他们体验酿酒设施的梦想,麦卡伦推出了麦卡伦酿酒厂VR体验。而该体验于本周一,就已在...

    VRPinea
  • 靠!安装了macOS Catalina(10.15.4)后,文件系统都乱套了

    最近闲来无事,决定将我的两台apple电脑升级成最新的苹果系统(macOS Catalina),当然,由于以前升级过多次mac系统,所以毫不犹豫从app sto...

    蒙娜丽宁
  • 越来越多的人在重视体验-产业互联网下设计师的挑战与发展系列

    但这为什么是一个挑战呢?我们不就是期望越来越多的人重视体验,重视体验的话,我们不就被重视了么?那我们设计师的地位不就提高了么?话虽如此,但人们口中的体验和你所说...

    RP道貌不岸然
  • setNeedsDisplay看我就懂!

    Dwyane

扫码关注云+社区

领取腾讯云代金券