1、问题描述 早上醒来发现手机有很多ES状态为red的告警，集群就前几天加了几个每天有十多亿记录的业务，当时估算过磁盘容量，应该是没有问题的，但是现在集群状态突然变成red了，这就有点懵逼了。 2、查
该文章介绍了群晖科技发布的DSM 6.2系统，该系统在存储空间管理、iSCSI服务、虚拟化技术等方面都进行了优化和更新，旨在为用户提供更加稳定、高效、安全的服务。同时，DSM 6.2还引入了Virtual Machine Manager（VMM）和Virtual DSM两个新功能，分别用于简化私有云架构和提供与Docker更兼容的容器环境。
我们知道，直接从物理内存读写数据要比从硬盘读写数据要快的多，因此，我们希望所有数据的读取和写入都在内存完成，而内存是有限的，这样就引出了物理内存与虚拟内存的概念。 物理内存就是系统硬件提供的内存大小，是真正的内存，相对于物理内存，在linux下还有一个虚拟内存的概念，虚拟内存就是为了满足物理内存的不足而提出的策略，它是利用磁盘空间虚拟出的一块逻辑内存，用作虚拟内存的磁盘空间被称为交换空间（Swap Space）。 作为物理内存的扩展，linux会在物理内存不足时，使用交换分区的虚拟内存，更详细的说，就是内核会将暂时不用的内存块信息写到交换空间，这样以来，物理内存得到了释放，这块内存就可以用于其它目的，当需要用到原始的内容时，这些信息会被重新从交换空间读入物理内存。 Linux的内存管理采取的是分页存取机制，为了保证物理内存能得到充分的利用，内核会在适当的时候将物理内存中不经常使用的数据块自动交换到虚拟内存中，而将经常使用的信息保留到物理内存。
广义上Cache的同步方式有两种，即Write Through（写穿）和Write back（写回）. 从名字上就能看出这两种方式都是从写操作的不同处理方式引出的概念（纯读的话就不存在Cache一致性了，不是么）。对应到Linux的Page Cache上所谓Write Through就是指write(2)操作将数据拷贝到Page Cache后立即和下层进行同步的写操作，完成下层的更新后才返回。而Write back正好相反，指的是写完Page Cache就可以返回了。Page Cache到下层的更新操作是异步进行的。
再相对高效一点的方法是通过du的-d参数，或--max-depth，设置查询的目录深度，目录深度增加，所查询的目录，展示出来会很多，这个时候可以通过grep进行过滤
转载：运维研习社 如果我们的服务器配置了企业微信或者钉钉的报警,那么我们可能会收到如下的消息. 📷 image-20220117165235844 登录服务器，通过 df -Hl 查看 📷 和告警信息一致，接着我们就是要找到导致磁盘空间满的目录或文件,如何找到占用空间大的目录或文件？一种比较笨的方法是，在根目录下，通过 du -hs 命令，列出各目录所占空间大小 📷 之后再用同样的方法继续到对应目录下去找 再相对高效一点的方法是通过 du 的 - d 参数，或 --max-depth，设置查询的目录深度，目
c/c++： python归python，c归c java：针对特定的开发和岗位需求 html/css/js：不可替代的前端技术，全栈能力 其他语言：r/go/matlab等，特定领域 python是最高产的程序设计语言。 ·掌握抽象并求解计算问题综合能力的语言 ·了解产业界解决复杂计算问题方法的语言 ·享受利用编程将编程变为乐趣的语言
缓冲区作为一块内存区域，提供了一个临时存储数据的空间，帮助程序高效地处理输入和输出
Arm64有4种栈，分别是空增栈(Empty Ascendant Stack,EA)、空减栈(Empty Descendant Stack,ED)、满增栈(Full Ascendant Stack,FA)、满减栈(Full Descendant Stack,FD)。常用的是满减栈，Linux内核也使用满减栈。
关于磁盘空间中索引节点爆满的问题还是挺多的，借此跟大家分享一下： 一、发现问题 在公司一台配置较低的Linux服务器（内存、硬盘比较小）的/data分区内创建文件时，系统提示磁盘空间不足，用df -h命令查看了一下磁盘使用情况，发现/data分区只使用了66%，还有12G的剩余空间，按理说不会出现这种问题。 二、分析问题： 后来用df -i查看了一下/data分区的索引节点(inode)，发现已经用满(IUsed=100%)，导致系统无法创建新目录和文件。 [root@bastion-IDC ~]# df
一、发现问题： 在一台配置较低的Linux服务器（内存、硬盘比较小）的/data分区内创建文件时，系统提示磁盘空间不足，用df -h命令查看了一下磁盘使用情况，发现/data分区只使用了66%，还有12G的剩余空间，按理说不会出现这种问题。 二、分析问题： 后来用df -i查看了一下/data分区的索引节点(inode)，发现已经用满(IUsed=100%)，导致系统无法创建新目录和文件。
文件如果在被某个进程打开后删除，还会存在文件系统中，只是标记为(deleted)状态。
当 Confluence 第一次启动的时候，Confluence 将会读取 confluence-init.properties 文件并从这个文件中确定如何去查找 Home 目录。
由于本人工作原因，涉及到网络直播领域，其中视频的回放下载，涉及到了一些视频下载方面的技术。针对于一个完整视频的下载，目前市面上的主流做法是，先将整个视频流切片，存储到文件服务器中，在用户需要观看回放视频时。通过一个视频回源服务器，去文件服务器中逐个请求切片，返回给用户播放。
type 是 Linux 系统的一种自省机制，知道了命令是那种类型，我们就可以针对性的获取帮助。比如内建命令可以用 help 命令来获取帮助，外部命令用 man 或 info 来获取帮助。
本文主要以列表形式将B+树的特点以及注意点等列出来，主要参考《算法导论》、维基百科、各大博客的内容，结合自己的理解写的，如内容有不当之处，请各位雅正。
如果你觉得这些问题都很简单，都能很明确的回答上来。那么很遗憾这篇文章不是为你准备的，你可以关掉网页去做其他更有意义的事情了。如果你觉得无法明确的回答这些问题，那么就耐心地读完这篇文章，相信不会浪费你的时间。受限于个人时间和文章篇幅，部分议题如果我不能给出更好的解释或者已有专业和严谨的资料，就只会给出相关的参考文献的链接，请读者自行参阅。
前面的文章，我们已经介绍过其他的几种高级的动态数据结构，典型如红黑树，跳跃表等，今天我们再来学习另外一种高级数据结构B树，我们知道树的查询时间复杂度和其树的高度有直接关系，当我们向红黑树里面插入大量的数据时，有两个问题：
| 作者：周晓，腾讯游戏 CROS 体系高级工程师，负责多套HDFS集群的维护管理，并为Apache Hadoop社区提交过2个Patch。同时也作为游戏DBA，稳定支撑包括穿越火线、天天酷跑等在内多款游戏的DB管理维护。 ---- 1 这次我吐血整理了一些在维护hdfs工作中遇到的问题，有的是血的教训，有的是花了不少功夫定位，也有的是一些知识点或者技巧，其中有两个补丁已经合并到apache hadoop官方。最后根据这些问题处理经验，汇总了hadoop hdfs集群需要关注的告警指标。 一、定期bloc
理解inode，要从文件储存说起。 文件储存在硬盘上，硬盘的最小存储单位叫做"扇区"（即：Sector）。每个扇区储存512字节（相当于0.5KB）。 操作系统读取硬盘的时候，不会一个个扇区地读取，这样效率太低，而是一次性连续读取多个扇区，即一次性读取一个"块"（block）。这种由多个扇区组成的"块"，是文件存取的最小单位。"块"的大小，最常见的是4KB，即连续八个 sector组成一个 block。 文件数据都储存在"块"中，那么很显然，我们还必须找到一个地方储存文件的元信息，比如文件的创建者、文件的创建日期、文件的大小等等。这种储存文件元信息的区域就叫做inode，中文译名为"索引节点"。 block中存储的就是文件的实际数据，比如说，照片，视频，音频等等，但是有一点需要注意！就是inode当中不包含文件名！一个文件的文件名，存储在上级目录的block中！ 其实inode和block之间的关系就像是一本书一样，inode是一本书的目录，一本书会有很多内容，一个知识点或者一个故事会占很多页，一个block就相当于书中的一页内容。
今天查看两个月前上线的小项目，发现运行非常慢，而且增删改查失效了（吓我一大跳），急急忙忙的就开始了我的线上问题排查之路。
IDC里的一台服务器的/分区使用率爆满了！已达到100%！经查看发现有个文件过大（80G），于是在跟有关同事确认后rm -f果断删除该文件。但是发现删除该文件后，/分区的磁盘空间压根没有释放出来，使用率还是100%！这是为什么呢？？
之前在《如何让程序真正地后台运行》一文中提到了程序后台运行的写法，但是里面的示例程序在某些场景下是会有问题的，这里先不说什么问题，我们先看看这个磁盘满的问题是怎么产生的，通过这篇文章你将会学习到大量linux命令的实操使用。
接上一篇:【Graylog告警联动篇】部署webhook服务实现自动传参并自动执行shell脚本
日常运维过程中，我们经常需要处理磁盘空间问题，当接到告警后，第一时间会去找那些大文件，一般比如centos，可能大文件就是 /var/log/messages。
我们知道，日常中我们的台式机、笔记本电脑上的磁盘都会有几百G的容量，这种磁盘一般都是机械磁盘，即使用一些精密的机械部件组成的磁盘。而近几年来，越来越多的笔记本电脑中内置了固态磁盘，固态磁盘又称SSD磁盘。
之前，听道友们讲Linux服务器被入侵、被挂马等等，当时感觉很不可思议，怎么会轻轻松松被入侵呢？安全防护得多low！(不过，这次并未打脸，被入侵的是大数据的机器，不归运维管理)
运营push发送数量较大，发送时间密集，同一时间段调用baixin发送push的数量几十万上百万不等。
简单记录，自用CentOS7.4虚拟机与ALiYunVPS，在配置ssh登录身份验证时碰到的问题。
8.Warning: Changing a readonly file 警告：改变一个只读文件
我们知道，直接从物理内存读写数据要比从硬盘读写数据要快的多，因此，我们希望所有数据的读取和写入都在内存完成，而内存是有限的，这样就引出了物理内存与虚拟内存的概念。
这里汇集了各路公交车，是张江男女必争之地。打工人最怕的是什么，不是996，不是007，最怕挤公交。
日常运维过程中，我们经常需要处理磁盘空间问题，当接到告警后，第一时间会去找那些大文件，一般比如 Centos，可能大文件就是 /var/log/messages。
本文介绍linux内存机制、虚拟内存swap、buffer/cache释放等原理及实操。
一、磁盘分区 1. 磁盘分区概述 2. 磁盘分区实例 3. 查询磁盘情况 4. 磁盘情况其他指令 二、网络配置 1. 网络概述 2. 配置 Linux 网络环境 3. 设置主机名和 host 映射 4. 补充 主机名解析过程 一、磁盘分区 1. 磁盘分区概述 Linux 操作系统只有一个根目录，根目录下又分几个区分别分给某一子目录使用，Linux 操作系统中的每个分区都是整个文件系统的一部分，硬盘中的每个分区都会挂载到文件系统的某一目录中。 Linux 硬盘分为 IDE 硬盘和 SCSI 硬盘，IDE 硬盘
该文介绍了利用四叉树实现空间索引的算法，相比于GeoHash来说，具有更高的查询效率，是地图领域非常有价值的参考技术。同时，四叉树具有很好的扩展性，即使数据量再大，也可以轻松应对。对于数据插入和查询，时间复杂度为O(logN)。
硬盘的种类主要是SCSI 、IDE 、以及现在流行的SATA等；任何一种硬盘的生产都要一定的标准；随着相应的标准的升级，硬盘生产技术也在升级；比如 SCSI标准已经经历了SCSI-1 、SCSI-2、SCSI-3；其中目前咱们经常在服务器网站看到的 Ultral-160就是基于SCSI-3标准的；IDE 遵循的是ATA标准，而目前流行的SATA，是ATA标准的升级版本；IDE是并口设备，而SATA是串口，SATA的发展目的是替换IDE；
Dell MD 3200系列存储，VMware ESXi 5.5版本，因意外断电，导致某台虚拟机不能正常启动，查看虚拟机的配置文件时发现此虚拟机的配置文件除了磁盘文件以外其他配置文件全部丢失。此时xxx-flat.vmdk磁盘文件和xxx-000001-delta.vmdk快照文件还存在。 找VMware工程师诊断后，尝试新建一个虚拟机来解决故障，但发现ESXi存储空间不足。因此就将故障虚拟机下的xxx-flat.vmdk磁盘文件删除，这时ESXi存储就有200多G的剩余空间了，而后VMware工程师就重新建了一个40G的虚拟机，并且分配了固定大小的虚拟磁盘，Windows Server 2008（虚拟机操作系统），数据库应用环境SQL Server 2008数据库服务器，虚拟机磁盘容量200G数据盘（精简模式）+ 160G快照数据盘。 解决方法： 1、备份数据 在VMware vSphere Client上将挂载的RD220i存储中VMFS卷以正常方式卸载掉。然后将RD220i存储上的VMFS卷通过网线的方式连接到备份服务器上，接着使用专业的工具将整个VMFS卷以扇区的方式镜像到已准备的备份空间上，以确保客户的数据安全，之后的分析和恢复操作均在备份的数据上进行。 2、分析故障原因 仔细分析VMFS卷的底层数据发现，ESXi主机的突然断电导致故障虚拟机目录下的目录项出现破坏，但是这种破坏不会影响虚拟机的重要数据，只是破坏了文件的目录项而已，可以通过人工修复即可解决。而人为删除某个文件的话，则目录项对应的数据区索引会被清掉，也不会影响删除文件的实际数据。这种情况可根据删除虚拟磁盘文件中的文件系统以及虚拟磁盘中的文件类型在VMFS卷自由空间中进行碎片匹配和合并，最终也可恢复删除的虚拟磁盘文件。但是在上述的两种情况之下又新建了一台虚拟机，并且分配了虚拟磁盘。经过仔细分析发现分配的40G虚拟磁盘已经全部清零了（在创建虚拟磁盘的时候会选择创建磁盘的类型），也是这个新建的虚拟机所占用的磁盘空间全部被清零。 如果新虚拟磁盘占用了删除虚拟机磁盘所释放的空间，那么此部分空间将无法恢复的。
由于Linux没有回收站功能，所以线上服务器上所有要删除的文件都会先移动到系统/tmp目录下，然后定期清除/tmp目录下的数据。这个策略本身没有问题，但是通过检查发现这台服务器的系统分区中并没有单独划分/tmp分区，这样/tmp下的数据其实占用了根分区的空间。既然找到了问题，那么删除/tmp目录下一些占空间较大的数据文件即可，检查/tmp下最大的三个数据文。
每条 SQL 前面的数字是它的编号，9 条 SQL 分别为 SQL 1、SQL 2、...、SQL 9，其中，SQL 9 是本文的主角。
在说明清楚问题之前，我们必须了解shell是如何运行程序的。首先我们必须要清楚的是，执行一条Linux命令，本质是在运行一个程序，如执行ls命令，它执行的是ls程序。那么在shell中输入一条命令，到底发生了什么？它会经历哪几个查找过程？
当一台服务器需要较大存储空间时，由于单块磁盘的空间容量相对较小，那么则需要连接多块磁盘。但是我们知道，一般计算机上的磁盘接口只有2-4块，服务器的磁盘接口可能有4-8块，不管怎样，接口数总是较少的。当需要连接更多磁盘时，则需要外界设备的辅助，磁盘阵列就是最常用的外界设备之一。
前言 近日想要在我的云服务器上安装graphviz时，发现我的根目录盘满了（直到现在也是快满的状态，服务商说根目录无法扩容🤔🤔🤔） 📷 于是通过逐层执行du -h --max-depth=1，我着手删除了一些比较占磁盘空间的文件 📷 并且顺手扩容了这台云主机的磁盘，reboot了一下， 然后我发现我的docker没有正常地自动启动，尝试手动启动也失败了 需要了解的词 systemctl 用于控制systemd服务，类比k8s中的kubectl 软链接（symbolic link） 一个文件在某一路径下
Linux 操作系统只有一个根目录，根目录下又分几个区分别分给某一子目录使用，Linux 操作系统中的每个分区都是整个文件系统的一部分，硬盘中的每个分区都会挂载到文件系统的某一目录中。
TrueCrypt可能很多人没用过，它是一个加密软件，能够对磁盘进行加密。还在担心自己电脑中的重要文件、私密档案被人查看。什么，你以为把文件设置了隐藏属性别人就看不到了？：) ：）快来用TrueCrypt ，你必定会爱上它的。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
云直播
