学到linux上的软连接和硬链接，不得不了解inode，要想知道inode，不得不了解一些文件系统，至少是Linux文件系统
与传统的cp、tar备份方式相比，rsync具有安全性高、备份迅速、支持增量备份等优点，通过rsync可以解决对实时性要求不高的数据备份需求，例如定期的备份文件服务器数据到远端服务器，对本地磁盘定期做数据镜像等。
“too many open files”这个错误大家经常会遇到，因为这个是Linux系统中常见的错误，也是云服务器中经常会出现的，而网上的大部分文章都是简单修改一下打开文件数的限制，根本就没有彻底的解决问题。
统计目录中文件的最简单方法是使用ls每行列出一个文件，并将输出通过管道符传递给wc计算数量：
本文介绍基于Python语言，统计文件夹中文件数量；若其含有子文件夹，还将对各子文件夹中的文件数量一并进行统计的方法。
你好，我是 somenzz，可以叫我征哥，今天看到了一个很好的面试问题，分享给你。
使用ls和grep命令配合 统计当前目录下文件的个数,不包括目录 > ls -l | grep "^-" | wc -l 统计文件夹下文件个数，包括子文件 > ls -lR | grep "^-" | wc -l 9188 统计文件夹下目录个数，包括子目录 > ls -lR | grep "^d" | wc -l 540 使用find和wc 统计当前目录下所有的普通文件,包含隐藏文件,不包含子目录下的文件 > find /etc -maxdepth 1 -type f | wc -l 统计目录中的
shell统计当前文件夹下的文件个数、目录个数 ls -l |grep "^-"|wc -l //统计当前文件夹下文件的个数 ls -l |grep "^d"|wc -l //统计当前文件夹下目录的个数 ls -lR|grep "^-"|wc -l //统计当前文件夹下文件的个数，包括子文件夹里的 ls -lR|grep "^d"|wc -l //统计文件夹下目录的个数，包括子文件夹里的 命令拆解 grep "^-" //这里将长列表输出信息过滤一部分，只保留一般文件，如果只保留目录就是 `^d
通常说的网络，都是在TCP/IP协议族的基础上运作的，HTTP协议，只是这个协议族中的一个。
文档地址：https://jpom.top/pages/upgrade/2.9.x-to-2.10.x/
在Linux系统内默认对所有进程打开的文件数量有限制（也可以称为文件句柄，包含打开的文件，套接字，网络连接等都算是一个文件句柄）
安装inotify工具inotify-tools 由于inotify特性需要Linux内核的支持，在安装inotify-tools前要先确认Linux系统内核是否达到了2.6.13以上，如果Linux内核低于2.6.13版本，就需要重新编译内核加入inotify的支持，也可以用如下方法判断，内核是否支持inotify： [root@localhost webdata]# uname -r 2.6.18-164.11.1.el5PAE [root@localhost webdata]# ll /proc/sys/fs/inotify 总计 0 -rw-r--r-- 1 root root 0 04-13 19:56 max_queued_events -rw-r--r-- 1 root root 0 04-13 19:56 max_user_instances -rw-r--r-- 1 root root 0 04-13 19:56 max_user_watches 如果有上面三项输出，表示系统已经默认支持inotify，接着就可以开始安装inotify-tools了。 可以到http://inotify-tools.sourceforge.net/下载相应的inotify-tools版本，然后开始编译安装： [root@localhost ~]# tar zxvf inotify-tools-3.14.tar.gz root@localhost ~]# cd inotify-tools-3.14 [root@localhost inotify-tools-3.14]# ./configure [root@localhost inotify-tools-3.14]# make [root@localhost inotify-tools-3.14]# make install [root@localhost inotify-tools-3.14]# ll /usr/local/bin/inotifywa* -rwxr-xr-x 1 root root 37264 04-14 13:42 /usr/local/bin/inotifywait -rwxr-xr-x 1 root root 35438 04-14 13:42 /usr/local/bin/inotifywatch inotify-tools安装完成后，会生成inotifywait和inotifywatch两个指令，其中，inotifywait用于等待文件或文件集上的一个特定事件，它可以监控任何文件和目录设置，并且可以递归地监控整个目录树。 inotifywatch用于收集被监控的文件系统统计数据，包括每个inotify事件发生多少次等信息。
内存就像是一个书包，容量有限，只能带着一部分东西。而图书馆则是一个专门存储和管理文件的地方，拥有更大的容量，并且可以永久保存文件。为了能够快速找到需要的文件，我们需要有一个书单来记录每本书放在哪里，这个书单就相当于文件系统的索引区，记录着文件的位置和相关信息。同时，为了提高访问效率，热门借阅的书会放在最前面供大家选择，避免每次都要去远处找书。通过良好的文件系统规划，我们可以提高数据管理的效率和安全性，本文将通过类似于图书馆的组织和管理方式再一步一步的讲解文件是如何放入磁盘的、索引节点等这些知识点。
理解inode，要从文件储存说起。文件储存在硬盘上，硬盘的最小存储单位叫做”扇区”（Sector）。每个扇区储存512字节（相当于0.5KB）。操作系统读取硬盘的时候，不会一个个扇区地读取，这样效率太低，而是一次性连续读取多个扇区，即一次性读取一个”块”（block）。这种由多个扇区组成的”块”，是文件存取的最小单位。”块”的大小，最常见的是4KB，即连续八个 sector组成一个 block。文件数据都储存在”块”中，那么很显然，我们还必须找到一个地方储存文件的元信息，比如文件的创建者、文件的创建日期、文件的大小等等。这种储存文件元信息的区域就叫做inode，中文译名为”索引节点” 。
我在知乎和公众号上都提到过，我 2012 在腾讯工作的时候写过一篇《Linux文件系统十问》。总有人问我这篇文章在哪里能看到，如今外网唯一的正版链接-腾讯学堂也挂了，网上能搜到的全是盗版。所以今天我干脆就正式给大家发一遍。
如果你的项目中支持高并发，或者是测试过比较多的并发连接。那么相信你一定遇到过“Too many open files”这个错误。
文件储存在硬盘上，硬盘的最小存储单位叫做”扇区”（Sector）。每个扇区储存512字节（相当于0.5KB）。
Linux 中的 xargs 命令是一个非常有用的命令行工具，可以将一些参数集合传递给其他命令作为参数，并利用指定的命令进行处理。它可以帮助我们批量处理文件，执行一些需要多个参数的命令，并且支持并发操作。
课堂上芒果给大家介绍过Linux系统是一种典型的多用户系统，不同的用户处于不同的地位，拥有不同的权限。
Linux系统中的wc(Word Count)命令的功能为统计指定文件中的字节数、字数、行数，并将统计结果显示输出。
这篇讲讲Linux下文件查找的命令:locate和find,其中locate很简单,主要讲解find命令 locate 用法 locate to/find/file/name 直接加上需要的文件名
文件系统的特性 磁盘分区完毕后需要进行格式化，操作系统才能使用这个分区。 不同操作系统能够使用的文件系统是不同的，例如：Windows98以前使用FAT/FAT16文件系统，Windows2000以后使用NTFS文件系统，Linux使用Ext2文件系统。在分区完成之后，要使得操作系统能够识别文件系统，就需要进行格式化，把分区格式化成某一个操作系统能够识别的文件系统。 一般来说，一个分区中装一个文件系统，但是现在技术发展了，一个分区可以装多个文件系统，也能将多个分区合并成一个文件系统。一个文件系统可以
https://www.cnblogs.com/huxiao-tee/p/4657851.html
网上说什么的也有，你抄我的我抄你的，也是醉了，故自己综合查阅的资料，根据自己的理解和判断以及部分的实践整理下吧，也不敢保证都是对的，如果有比较大的错误，希望看到这篇文章的你提出来，大家共同进步！
补充说明： ulimit为shell内建指令，可用来控制shell执行程序的资源。
Linux是一种开放的、因Internet而产生的操作系统。Internet的发展、以网络为中心的计算模式如电子商务被迅速接受和普及，都为 Linux提供了更巨大的机会，使之成为企业和部门级的首选平台。同时，Linux也以其对新技术的巨大包容能力为自身发展提供了良好的生长和栖息环境。这表现在其内核技术的发展为Linux环境下管理数据、存储数据、分配数据、升级数据提供了高性能的系统技术支持。ext3文件系统就属这类技术中较突出的一种。 日志文件系统 通常在系统运行中写入文件内容的同时，并没有写入文件的元数据（如权限、所有者及创建和访问时间），如果在写入文件内容之后与写入文件元数据之前的时间差里，系统非正常关闭，处于写入过程中的文件系统会非正常卸载，那么文件系统就会处于不一致的状态。当重新启动时，Linux会运行fsck程序，扫描整个文件系统，保证所有的文件块都被正确地分配或使用，找到被损坏的目录项并试图修复它。但是，fsck不保证一定能够修复损坏。出现这种情况时，文件中不一致的元数据会填满已丢失文件的空间，目录项中的文件项可能会丢失，也就造成文件的丢失。 为了尽量减少文件系统的不一致性，缩短操作系统的启动时间，文件系统需追踪引起系统改变的记录，这些记录存放在与文件系统相分离的地方，通常我们叫“日志”。一旦这些日志记录被安全地写入，日志文件系统就可以应用它们清除引起系统改变的记录，并将它们组成一个引起文件系统改变的集，将它们放在数据库的事务处理中，保持在状态下有效数据的正常运行，不与整个系统的性能发生冲突。在任何系统发生崩溃或需要重新启动时，数据就遵从日志文件中的信息记录进行恢复。由于日志文件中有定期的检查点，通常非常整齐。文件系统的设计主要考虑效率和性能方面的问题。 Linux可以支持许多日志文件系统，包括FAT、VFAT、HPFS（OS/2）、NTFS（Windows NT）、UFS、XFS、JFS、ReiserFS、ext2、ext3等。 ext3支持多种日志模式 ext3 是ext2文件系统的高一级版本，完全兼容ext2，与ext2主要区别便是具有快速更新文件的存储功能。计算机自磁盘上读取或写入数据开始就必须保证文件系统中文件与目录的一致性，所有日志文件中的数据均以数据块的形式存放在存储设备中，当磁盘分区时文件系统即被创建，按照文件形式、目录形式支持存储数据和组织数据。Linux的文件和目录采用层次结构文件系统，文件系统一般是在安装系统时通过使用“mount”命令安装上的，用于使用的文件链表存储在文件/etc/fstab中，用于维护而安装的文件链表则存放在/etc/mtab中。 ext3提供多种日志模式，即无论改变文件系统的元数据，还是改变文件系统的数据（包括文件自身的改变），ext3 文件系统均可支持，以下是在/etc/fstab文件引导时激活的三种不同日志模式： ◆data=journal日志模式 日志中记录包括所有改变文件系统的数据和元数据。它是三种ext3日志模式中最慢的，但它将发生错误的可能性降至最小。使用“data= journal” 模式要求ext3将每个变化写入文件系统2次、写入日志1次，这将降低文件系统的总性能，但它的确是使用者最心爱的模式。由于记录了在ext3中元数据和数据更新情况，当一个系统重新启动的时候，这些日志将起作用。 ◆data=ordered日志模式 仅记录改变文件系统的元数据，且溢出文件数据要补充到磁盘中。这是缺省的ext3日志模式。这种模式降低了在写入文件系统和写入日志之间的冗余，因此速度较快，虽然文件数据的变化情况并不被记录在日志中，但它们必须做，而且由ext3的daemon程序在与之相关的文件系统元数据变化前执行，即在记录元数据前要修改文件系统数据，这将稍微降低系统的性能（速度），然而可确保文件系统中的文件数据与相应文件系统的元数据同步。 ◆data=writeback日志模式 仅记录改变文件系统的元数据，但根据标准文件系统，写程序仍要将文件数据的变化记录在磁盘上，以保持文件系统一致性。这是速度最快的ext3日志模式。因为它只记录元数据的变化，而不需等待与文件数据相关的更新如文件大小、目录信息等情况，对文件数据的更新与记录元数据变化可以不同步，即ext3是支持异步的日志。缺陷是当系统关闭时，更新的数据因不能被写入磁盘而出现矛盾，这一点目前尚不能很好解决。 不同日志模式间有差别，但设置的方法一样方便。可以使用ext3文件系统指定日志模式，由/etc/fstab启动时完成。例如，选择data=writeback日志模式，可以做如下设置： /dev/hda5 /opt ext3 data=writeback 1 0 在一般情况下，
无论对Spark集群，还是Hadoop集群等大数据相关的集群进行调优，对linux系统层面的调优都是必不可少的，这里主要介绍3种常用的调优：
无论是做自动化，还是做测试开发，对于编程题目的面试还是不少的，带着大家看几道编程相关的面试题目，
原贴：https://0xffff.one/d/1395-wen-jian-xi-tong-zuo-wei-huan-cun
全称Linux extended file system, extfs，即Linux扩展文件系统，Ext2就代表第二代文件扩展系统，Ext3/Ext4以此类推，它们都是Ext2的升级版，只不过为了快速恢复文件系统，减少一致性检查的时间，增加了日志功能，所以Ext2被称为索引式文件系统，而Ext3/Ext4被称为日志式文件系统。
索引节点（inode）是持久化存储到磁盘中的，而目录项（dentry）是由内核维护（目录项缓存）的。
理解inode，要从文件储存说起。 文件储存在硬盘上，硬盘的最小存储单位叫做"扇区"（即：Sector）。每个扇区储存512字节（相当于0.5KB）。 操作系统读取硬盘的时候，不会一个个扇区地读取，这样效率太低，而是一次性连续读取多个扇区，即一次性读取一个"块"（block）。这种由多个扇区组成的"块"，是文件存取的最小单位。"块"的大小，最常见的是4KB，即连续八个 sector组成一个 block。 文件数据都储存在"块"中，那么很显然，我们还必须找到一个地方储存文件的元信息，比如文件的创建者、文件的创建日期、文件的大小等等。这种储存文件元信息的区域就叫做inode，中文译名为"索引节点"。 block中存储的就是文件的实际数据，比如说，照片，视频，音频等等，但是有一点需要注意！就是inode当中不包含文件名！一个文件的文件名，存储在上级目录的block中！ 其实inode和block之间的关系就像是一本书一样，inode是一本书的目录，一本书会有很多内容，一个知识点或者一个故事会占很多页，一个block就相当于书中的一页内容。
XX系统，通过FTP给客户实时传送文件，正常逻辑是客户收到文件后，自动删除FTP服务器上的本地文件，但经常出现文件已经推送了，客户没删除文件的情况。每个文件其实是很小的，可能几K，但是量很大，1天几万个，以至于时间久了，本地积的文件就会很多。我们不说让客户怎么排查问题，单就这个现象，如果积了几百万的小文件，我们能做些什么？你可能会说，删了啊，确实应该删了，但是小文件多了，会产生什么影响？如果直接rm，你认为行么？
经常需要通过脚本来控制系统目录的里备份文件数量。不可能手动来经常查看，总是忘记。 通过脚本定期自己查看目录里的文件数据，删除时间较早的目录。
某天上午服务器出现卡顿特别严重，页面加载速度奇慢，并且某些页面刷新出现404的问题，就连服务器的tab命令的自动提示都出现了问题，楼主费了九牛二虎之力，根据服务器排查发现，服务器数据盘出现100%被占用的问题，导致该问题出现的原因是，Jenkins每次部署服务器的时候，都会自动将上一次的war备份，由于开发阶段的频繁部署，最终硬盘被占满，便出现上述描述的情况。
显示命令路径以及命令相关的帮助手册文件路径，可以根据参数限定只查询命令、源文件和man文件。
文件是储存在硬盘上的，硬盘最小的存储单位叫做扇区sector，每个扇区存储512个字节。操作系统读取硬盘的时候，不会一个个扇区地读取，而是一次性地读取多个扇区，这个逻辑单位叫做块block。由多个扇区构成的快，才是文件存取的最小单位。块的大小，最常见的是4KB，即连续八个sector组成一个block。
通过ulimit -n命令可以查看Linux系统里打开文件描述符的最大值，一般缺省值是1024，对一台繁忙的服务器来说，这个值偏小，所以有必要重新设置linux系统里打开文件描述符的最大值。那么应该在哪里设置呢？
inode是什么 理解inode，要从文件储存说起。 文件储存在硬盘上，硬盘的最小存储单位叫做”扇区”（Sector）。每个扇区储存512字节（相当于0.5KB）。 操作系统读取硬盘的时候，不会一个个扇区地读取，这样效率太低，而是一次性连续读取多个扇区，即一次性读取一个”块”（block）。这种由多个扇区组成的”块”，是文件存取的最小单位。”块”的大小，最常见的是4KB，即连续八个 sector组成一个 block。 文件数据都储存在”块”中，那么很显然，我们还必须找到一个地方储存文件的元信息，比如
首先我们要明白我们要是想和系统硬件进行交互就需要系统，windows，Linux这些系统都是我们和硬件交互的桥梁，那么我们如何和磁盘等进行交互呢？就有了文件系统。
inode是一个重要概念，是理解Unix/Linux文件系统和硬盘储存的基础。 我觉得，理解inode，不仅有助于提高系统操作水平，还有助于体会Unix设计哲学，即如何把底层的复杂性抽象成一个简单概念
数据库是基于操作系统的，目前大多数MySQL都是安装在linux系统之上，所以对于操作系统的一些参数配置也会影响到MySQL的性能，下面就列出一些常用的系统配置。
windows上测试可以安装Gitlinux中，准备删除文件的脚本deleteFile.sh，picture.txt保存待删除文件的文件路径，picture文件夹下面有三张待删除图片a/b/c.jpg
原文:http://www.ruanyifeng.com/blog/2011/12/inode.html
D closed 检查当前文件是否关闭，若为True ，则表示已关闭，若为False，则表示未关闭
一、 文件数限制修改 1、用户级别 查看Linux系统用户最大打开文件限制： # ulimit -n 1024 (1) vi /etc/security/limits.conf mysql soft nofile 10240 mysql hard nofile 10240 其中mysql指定了要修改哪个用户的打开文件数限制。 可用'*'号表示修改所有用户的限制；soft或hard指定要修改软限制还是硬限制；10240则指定了想要修改的新的限制值，即最大打开文件数(请注意软限制值要小于或等于硬限制)。 (
今天在群里有个群友问了个问题，生产环境有目录包含数量较多的文件，删除会被卡住，自己想了下发现自己这点没遇到过但是确实存在这个情况就去了解学习了下，这里做一下小结
1、修改用户进程可打开文件数限制 在Linux平台上，无论编写客户端程序还是服务端程序，在进行高并发TCP连接处理时，最高的并发 数 量都要受到系统对用户单一进程同时可打开文件数量的 限制(这是因为系统为每个TCP连接都要创 建一个socket句柄，每个socket句柄同时也是一个文件句柄)。可使用ulimit命令查看系统允许当 前用户进程打开的文件数限制： [speng@as4 ~]$ ulimit -n 1024 这表示当前用户的每个进程最多允许同 时打开1024个文件，这1024个文件中还得除去每个进
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
