专栏首页蓝天选择设置好ext3日志模式

选择设置好ext3日志模式

Linux是一种开放的、因Internet而产生的操作系统。Internet的发展、以网络为中心的计算模式如电子商务被迅速接受和普及,都为 Linux提供了更巨大的机会,使之成为企业和部门级的首选平台。同时,Linux也以其对新技术的巨大包容能力为自身发展提供了良好的生长和栖息环境。这表现在其内核技术的发展为Linux环境下管理数据、存储数据、分配数据、升级数据提供了高性能的系统技术支持。ext3文件系统就属这类技术中较突出的一种。     日志文件系统     通常在系统运行中写入文件内容的同时,并没有写入文件的元数据(如权限、所有者及创建和访问时间),如果在写入文件内容之后与写入文件元数据之前的时间差里,系统非正常关闭,处于写入过程中的文件系统会非正常卸载,那么文件系统就会处于不一致的状态。当重新启动时,Linux会运行fsck程序,扫描整个文件系统,保证所有的文件块都被正确地分配或使用,找到被损坏的目录项并试图修复它。但是,fsck不保证一定能够修复损坏。出现这种情况时,文件中不一致的元数据会填满已丢失文件的空间,目录项中的文件项可能会丢失,也就造成文件的丢失。     为了尽量减少文件系统的不一致性,缩短操作系统的启动时间,文件系统需追踪引起系统改变的记录,这些记录存放在与文件系统相分离的地方,通常我们叫“日志”。一旦这些日志记录被安全地写入,日志文件系统就可以应用它们清除引起系统改变的记录,并将它们组成一个引起文件系统改变的集,将它们放在数据库的事务处理中,保持在状态下有效数据的正常运行,不与整个系统的性能发生冲突。在任何系统发生崩溃或需要重新启动时,数据就遵从日志文件中的信息记录进行恢复。由于日志文件中有定期的检查点,通常非常整齐。文件系统的设计主要考虑效率和性能方面的问题。     Linux可以支持许多日志文件系统,包括FAT、VFAT、HPFS(OS/2)、NTFS(Windows NT)、UFS、XFS、JFS、ReiserFS、ext2、ext3等。     ext3支持多种日志模式     ext3 是ext2文件系统的高一级版本,完全兼容ext2,与ext2主要区别便是具有快速更新文件的存储功能。计算机自磁盘上读取或写入数据开始就必须保证文件系统中文件与目录的一致性,所有日志文件中的数据均以数据块的形式存放在存储设备中,当磁盘分区时文件系统即被创建,按照文件形式、目录形式支持存储数据和组织数据。Linux的文件和目录采用层次结构文件系统,文件系统一般是在安装系统时通过使用“mount”命令安装上的,用于使用的文件链表存储在文件/etc/fstab中,用于维护而安装的文件链表则存放在/etc/mtab中。     ext3提供多种日志模式,即无论改变文件系统的元数据,还是改变文件系统的数据(包括文件自身的改变),ext3 文件系统均可支持,以下是在/etc/fstab文件引导时激活的三种不同日志模式:     ◆data=journal日志模式      日志中记录包括所有改变文件系统的数据和元数据。它是三种ext3日志模式中最慢的,但它将发生错误的可能性降至最小。使用“data= journal” 模式要求ext3将每个变化写入文件系统2次、写入日志1次,这将降低文件系统的总性能,但它的确是使用者最心爱的模式。由于记录了在ext3中元数据和数据更新情况,当一个系统重新启动的时候,这些日志将起作用。     ◆data=ordered日志模式     仅记录改变文件系统的元数据,且溢出文件数据要补充到磁盘中。这是缺省的ext3日志模式。这种模式降低了在写入文件系统和写入日志之间的冗余,因此速度较快,虽然文件数据的变化情况并不被记录在日志中,但它们必须做,而且由ext3的daemon程序在与之相关的文件系统元数据变化前执行,即在记录元数据前要修改文件系统数据,这将稍微降低系统的性能(速度),然而可确保文件系统中的文件数据与相应文件系统的元数据同步。     ◆data=writeback日志模式      仅记录改变文件系统的元数据,但根据标准文件系统,写程序仍要将文件数据的变化记录在磁盘上,以保持文件系统一致性。这是速度最快的ext3日志模式。因为它只记录元数据的变化,而不需等待与文件数据相关的更新如文件大小、目录信息等情况,对文件数据的更新与记录元数据变化可以不同步,即ext3是支持异步的日志。缺陷是当系统关闭时,更新的数据因不能被写入磁盘而出现矛盾,这一点目前尚不能很好解决。     不同日志模式间有差别,但设置的方法一样方便。可以使用ext3文件系统指定日志模式,由/etc/fstab启动时完成。例如,选择data=writeback日志模式,可以做如下设置:     /dev/hda5 /opt ext3 data=writeback 1 0     在一般情况下,data=ordered日志模式是ext3文件系统的缺省模式。     选择日志模式     1.考虑数据完整性      使用ext3文件系统,在非正常关机时,数据完整性能得到可靠的保障,而且可以选择数据保护的类型和级别。例如,可以选择保证文件系统一致、允许文件系统上的数据在非正常关机时受损,这样可以在某些状况下提高一些速度(但非所有状况)。另外,也可以选择保持数据与文件系统一致的情况,这意味着在非正常关机后,不会在新近写入的文件中看到任何数据垃圾。这种保持数据与文件系统一致的安全性选择通常是缺省设置的情况。     在大多数情况下,用户都是在文件的末尾增加写入数据。仅仅在某些情况下(例如数据库),用户在现存文件的中间写入数据,甚至覆盖现存文件。这种操作一般是先截断该文件,然后再写入数据。如果选择data=ordered模式,系统正在写文件时崩溃,那么数据块可能被部分改写,但是新增加的数据写入过程并没有完成,所以这种不完整数据块将不能作为文件数据的一部分。崩溃后要得到残存数据块的惟一办法是,在崩溃过程中有一个程序正在重写现存文件的中部,该程序使用了 fsync()和O_SYNC强制写操作,才能保证在这种情况下按特定顺序写入。     2.考虑速度     ext3写入数据的次数要多于ext2,尽管如此,ext3的速度仍然快于ext2(即使是对高速数据流)。这是因为ext3的日志具有优化硬盘磁头转动的功能。通过选择3种日志模式中的某一种,可以选择优化速度,但这会或多或少地造成一些数据的不完整,下面就来比较一下这三种日志模式。     ◆ 使用选项data=writeback可以显著地提高速度,但同时会降低对数据一致性的保护。选择其它日志模式,数据一致性的保护基本上与ext2文件系统相同。不同的是在正常操作时,系统要不断地维护文件系统的完整性,包括频繁的共享写操作创建和删除大量的小文件。如果从ext2切换到ext3,发现应用程序性能大幅度下降,选项data=writeback可能会对提高性能有帮助。即使没有获得数据一致性保护措施,仍然可以享受ext3的优势(文件系统总是保持一致)。在很多日志文件系统中,将这种模式设置为缺省模式。     ◆data=ordered(缺省模式)能提供保持数据与文件系统的一致,这意味着在非正常关机时,不会在新近写入的文件中看到任何垃圾数据。     ◆为了保证在多数情况下获得适中的速度,data=journal模式需要大一些的日志。当然在非正常关机后需要的恢复时间也长一些,但在某些数据库操作时速度较快。     一般情况下,建议使用缺省模式。如果要改变模式,要在/etc/fstab文件中为相应的文件系统加上data=模式选项。     这样,可以在速度和文件数据完整性两方面权衡利弊,并且可以为某些特殊的应用调整速度。     Linux 操作系统是近年来用户数量增长最快的操作系统,ext3作为第一个正式支持的日志文件系统,全面兼容ext2的。ext3提供了多种日志模式支持,改进了 Linux系统的性能,解决系统中存在的不一致性的问题。ext3文件系统是一个优秀的、极具发展前景的文件系统。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 全面了解安装使用Linux下的日志文件系统

    文件系统是用来管理和组织保存在磁盘驱动器上的数据的系统软件,其实现了数据完整性的保证,也就是保证写入磁盘的数据和随后读出的内容的一致性。除了保存以文件方式存储的...

    一见
  • 不再担心日志文件过大:通用日志滚动脚本

    log_rotater.zip #!/bin/sh # https://github.com/eyjian/mooon/blob/master/mooo...

    一见
  • relocation R_x86_64_32S against `vtable for CMyClass`

    GCC编译遇到如下的错误,可能是因为在编译时没有指定-fPIC,记住:-fPIC即是编译参数,也是链接参数:

    一见
  • 微服务太分散?使用Fundebug集中式bug监控

    当一个项目复杂到一定程度,功能越来越多,随之对应的模块也越来越多。 如果都放在一个大的项目下面,共同开发,整合发布,那么会变得越来越复杂,难以维护。

    Fundebug
  • Python 中使用 Pillow 处理图片增加水印

    这个是个比较常见的需求,比如你在某个网站上发布了图片,在图片上就会出现带你昵称的水印。那么在Python中应该如何处理这一类需求呢?

    the5fire
  • CORS跨域模型浅析及常见理解误区分析

    CORS跨域资源共享是前后端跨域十分常用的一种方案,主要依赖Access-Control-Allow(ACA)系列header来实现一种协商性的跨域交互。

    木子墨
  • 打个3dsctf,电脑机都开不了?

    3DSCTF Malware 3道题 writeup tags: - Reverse - malware ---- 这个ctf有个Malware的题型,...

    安恒网络空间安全讲武堂
  • 前端常用的 59 个工具类【持续更新】

    前端开发有时会处理一部分后台返回的数据,或者根据数据判断做一些处理; 这个时候就非常有必要将一些常用的工具类封装起来;

    火狼1
  • 13招神技 让你在数据科学和数据分析工作中脱颖而出

    简介:我有幸在很早参与了一个大数据科学项目,我非常喜欢其中的工作,甚至我意识到我的努力可以增加一些公司的价值。 然而,可悲的是,只有不到30%的数据科学项目最...

    灯塔大数据
  • 在VR中追逐浪潮,原来这个狂暴的世界如此美丽

    VRPinea

扫码关注云+社区

领取腾讯云代金券