为了不影响整个服务器的性能，每个Linux VPS的Inodes数目通常都有限制，Linux VPS如何查看Inodes数目？
课堂上芒果给大家介绍过Linux系统是一种典型的多用户系统，不同的用户处于不同的地位，拥有不同的权限。
Linux是一种开放的、因Internet而产生的操作系统。Internet的发展、以网络为中心的计算模式如电子商务被迅速接受和普及，都为 Linux提供了更巨大的机会，使之成为企业和部门级的首选平台。同时，Linux也以其对新技术的巨大包容能力为自身发展提供了良好的生长和栖息环境。这表现在其内核技术的发展为Linux环境下管理数据、存储数据、分配数据、升级数据提供了高性能的系统技术支持。ext3文件系统就属这类技术中较突出的一种。 日志文件系统 通常在系统运行中写入文件内容的同时，并没有写入文件的元数据（如权限、所有者及创建和访问时间），如果在写入文件内容之后与写入文件元数据之前的时间差里，系统非正常关闭，处于写入过程中的文件系统会非正常卸载，那么文件系统就会处于不一致的状态。当重新启动时，Linux会运行fsck程序，扫描整个文件系统，保证所有的文件块都被正确地分配或使用，找到被损坏的目录项并试图修复它。但是，fsck不保证一定能够修复损坏。出现这种情况时，文件中不一致的元数据会填满已丢失文件的空间，目录项中的文件项可能会丢失，也就造成文件的丢失。 为了尽量减少文件系统的不一致性，缩短操作系统的启动时间，文件系统需追踪引起系统改变的记录，这些记录存放在与文件系统相分离的地方，通常我们叫“日志”。一旦这些日志记录被安全地写入，日志文件系统就可以应用它们清除引起系统改变的记录，并将它们组成一个引起文件系统改变的集，将它们放在数据库的事务处理中，保持在状态下有效数据的正常运行，不与整个系统的性能发生冲突。在任何系统发生崩溃或需要重新启动时，数据就遵从日志文件中的信息记录进行恢复。由于日志文件中有定期的检查点，通常非常整齐。文件系统的设计主要考虑效率和性能方面的问题。 Linux可以支持许多日志文件系统，包括FAT、VFAT、HPFS（OS/2）、NTFS（Windows NT）、UFS、XFS、JFS、ReiserFS、ext2、ext3等。 ext3支持多种日志模式 ext3 是ext2文件系统的高一级版本，完全兼容ext2，与ext2主要区别便是具有快速更新文件的存储功能。计算机自磁盘上读取或写入数据开始就必须保证文件系统中文件与目录的一致性，所有日志文件中的数据均以数据块的形式存放在存储设备中，当磁盘分区时文件系统即被创建，按照文件形式、目录形式支持存储数据和组织数据。Linux的文件和目录采用层次结构文件系统，文件系统一般是在安装系统时通过使用“mount”命令安装上的，用于使用的文件链表存储在文件/etc/fstab中，用于维护而安装的文件链表则存放在/etc/mtab中。 ext3提供多种日志模式，即无论改变文件系统的元数据，还是改变文件系统的数据（包括文件自身的改变），ext3 文件系统均可支持，以下是在/etc/fstab文件引导时激活的三种不同日志模式： ◆data=journal日志模式 日志中记录包括所有改变文件系统的数据和元数据。它是三种ext3日志模式中最慢的，但它将发生错误的可能性降至最小。使用“data= journal” 模式要求ext3将每个变化写入文件系统2次、写入日志1次，这将降低文件系统的总性能，但它的确是使用者最心爱的模式。由于记录了在ext3中元数据和数据更新情况，当一个系统重新启动的时候，这些日志将起作用。 ◆data=ordered日志模式 仅记录改变文件系统的元数据，且溢出文件数据要补充到磁盘中。这是缺省的ext3日志模式。这种模式降低了在写入文件系统和写入日志之间的冗余，因此速度较快，虽然文件数据的变化情况并不被记录在日志中，但它们必须做，而且由ext3的daemon程序在与之相关的文件系统元数据变化前执行，即在记录元数据前要修改文件系统数据，这将稍微降低系统的性能（速度），然而可确保文件系统中的文件数据与相应文件系统的元数据同步。 ◆data=writeback日志模式 仅记录改变文件系统的元数据，但根据标准文件系统，写程序仍要将文件数据的变化记录在磁盘上，以保持文件系统一致性。这是速度最快的ext3日志模式。因为它只记录元数据的变化，而不需等待与文件数据相关的更新如文件大小、目录信息等情况，对文件数据的更新与记录元数据变化可以不同步，即ext3是支持异步的日志。缺陷是当系统关闭时，更新的数据因不能被写入磁盘而出现矛盾，这一点目前尚不能很好解决。 不同日志模式间有差别，但设置的方法一样方便。可以使用ext3文件系统指定日志模式，由/etc/fstab启动时完成。例如，选择data=writeback日志模式，可以做如下设置： /dev/hda5 /opt ext3 data=writeback 1 0 在一般情况下，
文件储存在硬盘上，硬盘的最小存储单位叫做”扇区”（Sector）。每个扇区储存512字节（相当于0.5KB）。
lsof -i -P | grep LISTEN |grep java 查看应用端口
Linux 中的 xargs 命令是一个非常有用的命令行工具，可以将一些参数集合传递给其他命令作为参数，并利用指定的命令进行处理。它可以帮助我们批量处理文件，执行一些需要多个参数的命令，并且支持并发操作。
在确定最大连接数之前，先来看看系统如何标识一个tcp连接。系统用一个4四元组来唯一标识一个TCP连接：{local ip, local port,remote ip,remote port}。
通常说的网络，都是在TCP/IP协议族的基础上运作的，HTTP协议，只是这个协议族中的一个。
与传统的cp、tar备份方式相比，rsync具有安全性高、备份迅速、支持增量备份等优点，通过rsync可以解决对实时性要求不高的数据备份需求，例如定期的备份文件服务器数据到远端服务器，对本地磁盘定期做数据镜像等。
我看到这个inode信息，还有使用率，直接看傻了，这啥玩意儿啊？ 于是去百度了一下
Yahoo是Hadoop的最大支持者，Yahoo的Hadoop机器总节点数目已经超过42000个，有超过10万的核心CPU在运行Hadoop。最大的一个单Master节点集群有4500个节点（每个节点双路4核心CPUboxesw，4×1TB磁盘，16GBRAM）。总的集群存储容量大于350PB，每月提交的作业数目超过1000万个。
在linux中，我们通常用time命令来计算某个程序或某个命令、脚本的运行耗时，比如我需要查看ps命令执行时间
top常用参数，top是交互式命令，以下几个参数经常用到，在top界面输入以下字母：
本文介绍基于Python语言，统计文件夹中文件数量；若其含有子文件夹，还将对各子文件夹中的文件数量一并进行统计的方法。
系统性能一直是一个受关注的话题，如何通过最简单的设置来实现最有效的性能调优，如何在有限资源的条件下保证程序的运作，ulimit 是我们在处理这些问题时，经常使用的一种简单手段。ulimit 是一种 Linux 系统的内键功能，它具有一套参数集，用于为由它生成的 shell进程及其子进程的资源使用设置限制。
我在知乎和公众号上都提到过，我 2012 在腾讯工作的时候写过一篇《Linux文件系统十问》。总有人问我这篇文章在哪里能看到，如今外网唯一的正版链接-腾讯学堂也挂了，网上能搜到的全是盗版。所以今天我干脆就正式给大家发一遍。
对rsync服务及命令不熟悉的，可以参考博文通过rsync实现远程同步 另外本文也是基于“通过rsync实现远程同步”这篇的试验环境的。
在上篇文章 每个后端都应该了解的OpenResty入门以及网关安全实战 中，我向大家介绍了 OpenResty 的入门使用是 WAF 防御实战，这篇文章将给大家继续介绍 OpenResty 入门之性能测试 篇。
在上篇文章 每个后端都应该了解的 OpenResty 入门以及网关安全实战 中，我向大家介绍了 OpenResty 的入门使用是 WAF 防御实战，这篇文章将给大家继续介绍 OpenResty 入门之性能测试 篇。
学到linux上的软连接和硬链接，不得不了解inode，要想知道inode，不得不了解一些文件系统，至少是Linux文件系统
bpftop 是一个由 Netflix 提供的工具，它提供了一个动态的实时视图，用于查看运行中的 eBPF 程序。该工具显示每个程序的平均运行时间、每秒事件数和估计的总 CPU 使用率。此外，它还提供这些统计信息随时间变化的图形视图。
一、 文件数限制修改 1、用户级别 查看Linux系统用户最大打开文件限制： # ulimit -n 1024 (1) vi /etc/security/limits.conf mysql soft nofile 10240 mysql hard nofile 10240 其中mysql指定了要修改哪个用户的打开文件数限制。 可用'*'号表示修改所有用户的限制；soft或hard指定要修改软限制还是硬限制；10240则指定了想要修改的新的限制值，即最大打开文件数(请注意软限制值要小于或等于硬限制)。 (
以前我对这块认识很模糊，而且还有错误的认识；今天由我同事提醒，所以我决定来好好的缕缕这块的关系。
rclone能够方便的管理 google drive 与 dropbox 等网盘，支持挂载盘符与命令行上传下载 下载 rclone支持多平台，下载地址：https://downloads.rclone.org/ 安装 apt install -y unzip wget https://downloads.rclone.org/rclone-current-linux-amd64.zip unzip rclone-current-linux-amd64.zip chmod 0777 ./rclone-*/rc
MaAfee发布了一份关于 2020 年第二季度网络威胁演变与相关网络犯罪活动的分析报告。在跟踪时间段内，恶意软件新样本总数增长了 11.5%，每分钟会出现 419 个新威胁。 恶意 Office 文档的快速增长使得新增 PowerShell 恶意软件激增 117%，COVID-19 造成的影响促使网络犯罪者调整相关攻击策略，比如以新冠病毒大流行为主题吸引受害者并利用许多人在家工作的事实。 McAfee 首席科学家 Raj Samani 表示：“到 2020 年第二季度，PowerShell 恶意软件等
今天是2019-1-29，参加完2019年美国大学生数学建模竞赛，小伙伴都回家了，就我一个人在寝室，太无聊了，就把在比赛中遇到的excel批处理，写一下思路（ps:其实我在比赛中 利用的是SQLServer数据库和matlab相结合的数据处理方法，但是一般情况下遇到的都是matlab对excel数据批处理，所以降低要求写了matlab对excel数据批处理，此思路都是小编凭感觉自己摸索出来的，如有错误欢迎指出）。
在Linux的内存分配机制中，优先使用物理内存，当物理内存还有空闲时(还够用)，不会释放其占用内存，就算占用内存的程序已经被关闭了，该程序所占用的内存用来做缓存使用，对于开启过的程序、或是读取刚存取过得数据会比较快。
对于Git项目开发，有一些可视化的工具，如gitk，giggle等，来查看项目的开发历史。但这些简单的可视化工具远远不足以了解项目完整的开发历史，类似于gitstats的定量统计数据工具则（如每日提交量，行数等）更能反映项目的开发进程和活跃性。
1、修改用户进程可打开文件数限制 在Linux平台上，无论编写客户端程序还是服务端程序，在进行高并发TCP连接处理时，最高的并发 数 量都要受到系统对用户单一进程同时可打开文件数量的 限制(这是因为系统为每个TCP连接都要创 建一个socket句柄，每个socket句柄同时也是一个文件句柄)。可使用ulimit命令查看系统允许当 前用户进程打开的文件数限制： [speng@as4 ~]$ ulimit -n 1024 这表示当前用户的每个进程最多允许同 时打开1024个文件，这1024个文件中还得除去每个进
假如有一个用户在linux系统中编辑了一个文件，编辑完内容后，关闭编辑器时会问用户改如何命名这个文件，设置完名称之后会选择一个目录将该文件保存到指定目录下，在这个例子中包含了linux系统中与文件相关的三个组成部分
ls 命令，list 的缩写，是最常见的目录操作命令，其主要功能是显示当前目录下的内容。此命令的基本格式为：
可以发现，很明显是Nginx返回的错误。但是从接口返回看不出太多的细节问题，需要打印nginix日志查看
由于Linux没有回收站功能，所以线上服务器上所有要删除的文件都会先移动到系统/tmp目录下，然后定期清除/tmp目录下的数据。这个策略本身没有问题，但是通过检查发现这台服务器的系统分区中并没有单独划分/tmp分区，这样/tmp下的数据其实占用了根分区的空间。既然找到了问题，那么删除/tmp目录下一些占空间较大的数据文件即可，检查/tmp下最大的三个数据文。
版本控制的作用：记录若干文件内容变化，以便将来查阅特定版本修订情况。 版本管理工具发展简史，cvs-->svn-->Git（参考：http://luckypoem14.github.io/test/2012/04/24/scm-history/ ）。 svn全称subversion，是一个开源版本控制系统（C/S架构），始于2000年；git（gitlab/GitHub）是linux创始人linus发起的，2005年发布，最初目的是更好管理linux内核代码， gitlab可以认为是一个开源的github，两者没有直接关系；git和svn不同在于git不需要依赖服务端就可以工作，即git是分布式的。
为了提高为文件分配空闲空间的效率，我们需要通过空闲空间管理来维护好现有的空闲空间，避免每次为文件分配空间时去扫描整个磁盘。
看了一个Beyond的纪录片, 于是搜集了24首歌词, 用Python做了简单分词和词频统计.
NameNode 的内存占用与 HDFS 中的目录数量、文件数量以及块数量有关，随着目录和文件数量的增多，可以通过调大 NameNode 堆内存的方式来解决内存不足的问题，但毕竟物理内存是有上限的，不可能无限增大，还有其他什么好办法呢？
来源：https://www.cnblogs.com/txlsz/p/13683892.html
文件属性 [root@localhost ~]# ls -l 总用量 12 -rw-r--r--. 1 root root 0 10月 25 16:06 1.txt -rw-------. 1 root root 1422 10月 21 00:17 anaconda-ks.cfg -rw-r--r--. 1 root root 0 10月 25 16:06 1.txt -表示文件的类型，rw-r--r--后面的九位，表示文件的权限 r （read）表示可读权限 --数字4表示，r=4 w
“too many open files”这个错误大家经常会遇到，因为这个是Linux系统中常见的错误，也是云服务器中经常会出现的，而网上的大部分文章都是简单修改一下打开文件数的限制，根本就没有彻底的解决问题。
前几天我发了一篇文章：在 4GB 物理内存的机器上，申请 8G 内存会怎么样？，但是当时写的比较匆忙，文章中只考虑关闭 swap 的情况，没有提及开启 swap 的情况，有读者希望我补充这部分内容。
我们知道在Linux中一切皆文件，那么一台服务器最大能打开多少个文件呢？Linux上能打开的最大文件数量受三个参数影响，分别是：
前几天在Python最强王者群【东哥】问了一个Python自动化办公的问题，一起来看看吧。这个是他自己在实际工作中遇到的需求，正好遇到了这个问题，想着用Python来实现下。
我的站点使用 hexo 生成静态文件存放在新浪云服务器上，因为静态文件都做为代码存放上传，新浪云默认提供的代码空间是100M，因此我经常关注 hexo 生成的 public 文件夹的使用情况。
如非必须，关掉或卸载iptables防火墙，并阻止kernel加载iptables模块。这些模块会影响并发性能。
windows下全然限定文件名称必须少于260个字符，文件夹名必须小于248个字符。
分桶表是对列值取哈希值的方式，将不同数据放到不同文件中存储。 对于hive中每一个表、分区都可以进一步进行分桶。（可以对列，也可以对表进行分桶） 由列的哈希值除以桶的个数来决定每条数据划分在哪个桶中。
执行命令：ulimit -a即可查看当前Linux操作系统的最大进程数、最大文件数 示例：
最近遇到一个非常有趣的问题。其中有一组HAProxy，频繁出现问题。登录上服务器，cpu、内存、网络、io一顿猛查。最终发现，机器上处于TIME_WAIT状态的连接，多达6万多个。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
