选择设置好ext3日志模式

Linux是一种开放的、因Internet而产生的操作系统。Internet的发展、以网络为中心的计算模式如电子商务被迅速接受和普及,都为 Linux提供了更巨大的机会,使之成为企业和部门级的首选平台。同时,Linux也以其对新技术的巨大包容能力为自身发展提供了良好的生长和栖息环境。这表现在其内核技术的发展为Linux环境下管理数据、存储数据、分配数据、升级数据提供了高性能的系统技术支持。ext3文件系统就属这类技术中较突出的一种。     日志文件系统     通常在系统运行中写入文件内容的同时,并没有写入文件的元数据(如权限、所有者及创建和访问时间),如果在写入文件内容之后与写入文件元数据之前的时间差里,系统非正常关闭,处于写入过程中的文件系统会非正常卸载,那么文件系统就会处于不一致的状态。当重新启动时,Linux会运行fsck程序,扫描整个文件系统,保证所有的文件块都被正确地分配或使用,找到被损坏的目录项并试图修复它。但是,fsck不保证一定能够修复损坏。出现这种情况时,文件中不一致的元数据会填满已丢失文件的空间,目录项中的文件项可能会丢失,也就造成文件的丢失。     为了尽量减少文件系统的不一致性,缩短操作系统的启动时间,文件系统需追踪引起系统改变的记录,这些记录存放在与文件系统相分离的地方,通常我们叫“日志”。一旦这些日志记录被安全地写入,日志文件系统就可以应用它们清除引起系统改变的记录,并将它们组成一个引起文件系统改变的集,将它们放在数据库的事务处理中,保持在状态下有效数据的正常运行,不与整个系统的性能发生冲突。在任何系统发生崩溃或需要重新启动时,数据就遵从日志文件中的信息记录进行恢复。由于日志文件中有定期的检查点,通常非常整齐。文件系统的设计主要考虑效率和性能方面的问题。     Linux可以支持许多日志文件系统,包括FAT、VFAT、HPFS(OS/2)、NTFS(Windows NT)、UFS、XFS、JFS、ReiserFS、ext2、ext3等。     ext3支持多种日志模式     ext3 是ext2文件系统的高一级版本,完全兼容ext2,与ext2主要区别便是具有快速更新文件的存储功能。计算机自磁盘上读取或写入数据开始就必须保证文件系统中文件与目录的一致性,所有日志文件中的数据均以数据块的形式存放在存储设备中,当磁盘分区时文件系统即被创建,按照文件形式、目录形式支持存储数据和组织数据。Linux的文件和目录采用层次结构文件系统,文件系统一般是在安装系统时通过使用“mount”命令安装上的,用于使用的文件链表存储在文件/etc/fstab中,用于维护而安装的文件链表则存放在/etc/mtab中。     ext3提供多种日志模式,即无论改变文件系统的元数据,还是改变文件系统的数据(包括文件自身的改变),ext3 文件系统均可支持,以下是在/etc/fstab文件引导时激活的三种不同日志模式:     ◆data=journal日志模式      日志中记录包括所有改变文件系统的数据和元数据。它是三种ext3日志模式中最慢的,但它将发生错误的可能性降至最小。使用“data= journal” 模式要求ext3将每个变化写入文件系统2次、写入日志1次,这将降低文件系统的总性能,但它的确是使用者最心爱的模式。由于记录了在ext3中元数据和数据更新情况,当一个系统重新启动的时候,这些日志将起作用。     ◆data=ordered日志模式     仅记录改变文件系统的元数据,且溢出文件数据要补充到磁盘中。这是缺省的ext3日志模式。这种模式降低了在写入文件系统和写入日志之间的冗余,因此速度较快,虽然文件数据的变化情况并不被记录在日志中,但它们必须做,而且由ext3的daemon程序在与之相关的文件系统元数据变化前执行,即在记录元数据前要修改文件系统数据,这将稍微降低系统的性能(速度),然而可确保文件系统中的文件数据与相应文件系统的元数据同步。     ◆data=writeback日志模式      仅记录改变文件系统的元数据,但根据标准文件系统,写程序仍要将文件数据的变化记录在磁盘上,以保持文件系统一致性。这是速度最快的ext3日志模式。因为它只记录元数据的变化,而不需等待与文件数据相关的更新如文件大小、目录信息等情况,对文件数据的更新与记录元数据变化可以不同步,即ext3是支持异步的日志。缺陷是当系统关闭时,更新的数据因不能被写入磁盘而出现矛盾,这一点目前尚不能很好解决。     不同日志模式间有差别,但设置的方法一样方便。可以使用ext3文件系统指定日志模式,由/etc/fstab启动时完成。例如,选择data=writeback日志模式,可以做如下设置:     /dev/hda5 /opt ext3 data=writeback 1 0     在一般情况下,data=ordered日志模式是ext3文件系统的缺省模式。     选择日志模式     1.考虑数据完整性      使用ext3文件系统,在非正常关机时,数据完整性能得到可靠的保障,而且可以选择数据保护的类型和级别。例如,可以选择保证文件系统一致、允许文件系统上的数据在非正常关机时受损,这样可以在某些状况下提高一些速度(但非所有状况)。另外,也可以选择保持数据与文件系统一致的情况,这意味着在非正常关机后,不会在新近写入的文件中看到任何数据垃圾。这种保持数据与文件系统一致的安全性选择通常是缺省设置的情况。     在大多数情况下,用户都是在文件的末尾增加写入数据。仅仅在某些情况下(例如数据库),用户在现存文件的中间写入数据,甚至覆盖现存文件。这种操作一般是先截断该文件,然后再写入数据。如果选择data=ordered模式,系统正在写文件时崩溃,那么数据块可能被部分改写,但是新增加的数据写入过程并没有完成,所以这种不完整数据块将不能作为文件数据的一部分。崩溃后要得到残存数据块的惟一办法是,在崩溃过程中有一个程序正在重写现存文件的中部,该程序使用了 fsync()和O_SYNC强制写操作,才能保证在这种情况下按特定顺序写入。     2.考虑速度     ext3写入数据的次数要多于ext2,尽管如此,ext3的速度仍然快于ext2(即使是对高速数据流)。这是因为ext3的日志具有优化硬盘磁头转动的功能。通过选择3种日志模式中的某一种,可以选择优化速度,但这会或多或少地造成一些数据的不完整,下面就来比较一下这三种日志模式。     ◆ 使用选项data=writeback可以显著地提高速度,但同时会降低对数据一致性的保护。选择其它日志模式,数据一致性的保护基本上与ext2文件系统相同。不同的是在正常操作时,系统要不断地维护文件系统的完整性,包括频繁的共享写操作创建和删除大量的小文件。如果从ext2切换到ext3,发现应用程序性能大幅度下降,选项data=writeback可能会对提高性能有帮助。即使没有获得数据一致性保护措施,仍然可以享受ext3的优势(文件系统总是保持一致)。在很多日志文件系统中,将这种模式设置为缺省模式。     ◆data=ordered(缺省模式)能提供保持数据与文件系统的一致,这意味着在非正常关机时,不会在新近写入的文件中看到任何垃圾数据。     ◆为了保证在多数情况下获得适中的速度,data=journal模式需要大一些的日志。当然在非正常关机后需要的恢复时间也长一些,但在某些数据库操作时速度较快。     一般情况下,建议使用缺省模式。如果要改变模式,要在/etc/fstab文件中为相应的文件系统加上data=模式选项。     这样,可以在速度和文件数据完整性两方面权衡利弊,并且可以为某些特殊的应用调整速度。     Linux 操作系统是近年来用户数量增长最快的操作系统,ext3作为第一个正式支持的日志文件系统,全面兼容ext2的。ext3提供了多种日志模式支持,改进了 Linux系统的性能,解决系统中存在的不一致性的问题。ext3文件系统是一个优秀的、极具发展前景的文件系统。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏Janti

spring boot之从零开始开发自己的网站

3502
来自专栏数据和云

利用硬链接和truncate降低drop table对线上环境的影响

作者简介 ? 肖鹏 微博研发中心数据库技术负责人,主要负责微博数据库(MySQL/Reids/HBase/Memcached)相关的业务保障,性能优化,架构设计...

3739
来自专栏智能计算时代

服务网格:什么是Envoy(特使)

Envoy是专为大型现代服务导向架构设计的L7代理和通讯总线。该项目源于以下信念: 网络应该对应用程序是透明的。当网络和应用程序出现问题时,应该很容易确定问题的...

3366
来自专栏向治洪

android个推平台

最近有个朋友想要推送一些消息到自己的APP上,自己用了HTTP轮询的方式比较耗电,也比较占用流量,一旦用户关闭了进程,消息则很难触达,于是,咨询我有没有什么好的...

2186
来自专栏风中追风

分布式进阶__zookeeper的zab协议工作原理之原子广播

paxos协议主要就是如何保证在分布式环网络环境下,各个服务器如何达成一致最终保证数据的一致性问题

52215
来自专栏架构师之路

DNS在架构设计中的巧用

一、缘起 一个http请求从客户端到服务端,整个执行流程是怎么样的呢? ? 一个典型流程如上: (1)客户端通过域名daojia.com请求dns-serve...

3864
来自专栏架构师之路

究竟啥才是互联网架构“高可用”

一、什么是高可用 高可用HA(High Availability)是分布式系统架构设计中必须考虑的因素之一,它通常是指,通过设计减少系统不能提供服务的时间。 ...

4766
来自专栏程序员互动联盟

【答疑解惑第九讲】如何在linux下面编译一个简单的c语言程序

存在问题: 习惯了用IDE,习惯了点击执行按钮。在linux就不能这样了,该咋办? 解决方案: 随着android的大热,在linux下搞开发的人也越来越多,好...

38111
来自专栏资深Tester

你会搭建测试环境吗?

4.4K5
来自专栏子勰随笔

SDK开发经验之测试

2306

扫码关注云+社区

领取腾讯云代金券