当虚拟机服务器运行Docker久了后，发现Docker的文件越来越大，某天发现此台机上的数据库访问不了了，再重启数据库等日志，提示空间不足，查看磁盘空间： root分区满载啊，前段时间还有不少
选择适当的文件系统可以使磁盘空间的利用率更高并提高性能。Linux下常用的文件系统有Ext2、Ext3、Ext4、Btrfs等，其中Btrfs相对比较新，支持快照、检查和修复能力。使用Btrfs文件系统可以通过压缩减小磁盘空间的使用，但是需要注意的是，压缩会增加CPU的开销和IO延迟。
突然听到运维说磁盘预发布环境磁盘空间不够，细查之下发现是由于某个表的数据太大导致的，但是查看了下数据库表发现，实际的表数据量只有60w条，很明显表哪里出问题了，一开始以为是犹豫表的设计不合理索引导致的数据量大，细看之下发现挺正常的。正在焦虑蹉跎的时候，有幸得到朋友圈大佬的指点，是死亡元组太多导致的只需要执行vacuum full清理死亡元组就好，查看了相关的博客稳定发现postgresql居然会保存mvcc多版本修改记录，简单理解就是，postgresql对你所做的修改和删除都会保存记录，不会清理释放空间。这让我顿时想到[Mysql的MVCC]，但是mysql的undo log也只记录执行操作的相反记录保留最新的记录，而redo log记录数据页的变更，但是大小是固定的，都可以通过配置参数配置固定大小。
默认情况下，ingress-nginx日志是没有做切割的，这就造成了很糟糕的体验， 日志越来越大，占着磁盘空间。
随着每天业务的增长，Tomcat 的catalina.out日志 变得越来越大，占用磁盘空间不说。要查看某个时候的日志的时候，庞大的日志让你顿时无从下手，所以日志的切割的变得刻不容缓。而且，切割后的日志，还可以定期清理掉久远的日志。
Elasticsearch 存储的基本单元是shard， ES中一个Index 可能分为多个shard， 事实上每个shard 都是一个Lucence 的Index，并且每个Lucence Index 由多个Segment组成， 每个Segment事实上是一些倒排索引的集合， 每次创建一个新的Document， 都会归属于一个新的Segment， 而不会去修改原来的Segment； 且每次的文档删除操作，会仅仅标记Segment中该文档为删除状态，而不会真正的立马物理删除， 所以说ES的index 可以理解为一个抽象的概念。
一、前言 随着每天业务的增长，Tomcat 的catalina.out日志 变得越来越大，占用磁盘空间不说。要查看某个时候的日志的时候，庞大的日志让你顿时无从下手，所以日志的切割的变得刻不容缓。而且，切割后的日志，还可以定期清理掉久远的日志...... 二、Tomcat 日志分割 我们采用日期形式切割catalina.out 日志，因此采用cronlog 软件切割： 1、安装 cronlog yum install -y cronolog httpd 2、修改bin/catalina.sh文
尽管 Redis 是基于内存的 key-value 服务，但也可以进行数据的持久化，以便服务重启，数据能重新加载进来。
1、什么是NTFS－新(N)技术(T)文件(F)系统(S)？ 想要了解NTFS，我们首先应该认识一下FAT。FAT(File Allocation Table)是"文件分配表"的意思。对我们来说，它的意义在于对硬盘分区的管理。FAT16、FAT32、NTFS是目前最常见的三种文件系统。 FAT16：我们以前用的DOS、Windows 95都使用FAT16文件系统，现在常用的Windows 98/2000/XP等系统均支持FAT16文件系统。它最大可以管理大到2GB的分区，但每个分区最多只能有65525个簇(
1）客户端任意选择一个node发送请求过去，这个node就是coordinating node（协调节点） 2）coordinating node，对该数据经过hash后，判断该数据属于哪个shard进程，找到有该shard的primary shard的node，然后对document进行路由，将请求转发给对应的node（有primary shard的结点） 3）具体接收的primary shard处理请求，然后将数据同步到replica node 4）coordinating node，如果发现primary node和所有replica node都搞定之后，就返回响应结果给客户端
Redis（Remote Dictionary Server）是一种高性能的 key-value 数据库。它采用了内存数据库技术，它的数据操作是基于内存中的数据完成的，从而极大的提升了 Redis 的读写性能。
在指定的时间间隔内将内存中的数据集快照写入磁盘(保存的文件替换原先的文件进行全量的存储)，也就是行话讲的快照，它恢复时是将快照文件直接读到内存里。
推出一个新系列，《看图轻松理解数据结构和算法》，主要使用图片来描述常见的数据结构和算法，轻松阅读并理解掌握。本系列包括各种堆、各种队列、各种列表、各种树、各种图、各种排序等等几十篇的样子。
都会对该构建的项目生成一个历史构建记录以及生成一份历史构建的项目发布包，刚开始的时候大家谁都不必在意，毕竟一次构建比原项目也大不了多少，所以说没有人会关心磁盘的占用问题。
访问日志不记录静态文件 网站大多元素为静态文件，如图片、css、js等，这些元素可以不用记录 。如果不去做限制，每个请求都包含很多图片，每个请求都会记录日志，日志会变得越来越大，不仅会消耗磁盘空间还会消耗磁盘IO。 把虚拟主机配置文件添加如下： SetEnvIf Request_URI ".*\.gif$" img //img是一个标签，也可以是其他的，自定义 SetEnvIf Request_URI ".*\.jpg$" img SetEnvIf Request_URI "
系统用久了,占用磁盘会越来越多. 以至于到后面你都不知道究竟是什么东西占用了这么多磁盘空间.
一、什么是快照？ 快照可保存虚拟机在特定时刻的状态和数据。 • 状态包括虚拟机的电源状态（例如，打开电源、关闭电源、挂起）。 • 数据包括组成虚拟机的所有文件。这包括磁盘、内存和其他设备（例如虚拟网络接口卡）。 虚拟机提供了多个用于创建和管理快照及快照链的操作。通过这些操作，我们可以创建快照、还原到链中的任意快照以及移除快照。
Redis 是个基于内存的数据库。那服务一旦宕机，内存中数据必将全部丢失。所以丢失数据的恢复对于 Redis 是十分重要的，我们首先想到是可以从数据库中恢复，但是在由 Redis 宕机时（说明相关工作正在运行）且数据量很大情况下，从数据库恢复的话，会为数据库带来巨大的压力，进而导致程序相应缓慢。因此实现数据的持久化，避免从后端数据库中恢复数据，对于Redis 是十分必要的。
通常使用较多的磁盘管理工具为fdisk，但由于磁盘越来越廉价，且磁盘空间越来越大，而fdisk工具分区存在大小限制，只能划分小于2T的磁盘。因此需要使用Parted工具来实现对GPT磁盘进行分区操作，parted工具同样具有两种模式：命令行模式和交互模式。
1 灵活: 逻辑复制对比物理复制来说,可以单表进行数据的复制,物理复制则是不可以的,并且大部分时间对于ETL的功能需求来说,物理复制太重了,需要的磁盘,网络,等资源都相对于逻辑复制消耗的要大的多.
这两天，监控频繁发来服务器磁盘空间 90%+的报警，打扰睡觉不说，塞得满满的总是不舒服的。刚来公司才 20 天，对于部分细节上的运维了解得还不是很到位，比如这备份机制是怎样的？于是，将几台空间老报警的
CleanMyMac X 是一款专业的Mac清理软件，可智能清理mac磁盘垃圾和多余语言安装包，快速释放电脑内存，轻松管理和升级 Mac 上的应用。同时 CleanMyMac X 可以强力卸载恶意软件，修复系统漏洞，一键扫描和优化 Mac 系统，让您的电脑焕然一新！
这些文件大部分都是使用微信产生的缓存文件，其中大部分都是与自己无关的各大群聊中的文件、视频、图片等内容，且很久以前的文件仍旧存在电脑中，除了占用磁盘空间外没有别的多大作用。
在 VMware 进行 Ubuntu 18.04 的虚拟环境使用的过程中，我惊奇的发现，好像并没有怎么操作，就已经占用了 20 个 G 的空间了。在 Ubuntu 18.04 中查看磁盘使用情况，也发现并没有到 20 G 呀：
哈希表 哈希表支持增、删、改、查操作，但是支持范围查找较差；因为哈希表特性，如果进行范围查找，一个范围的所有数据都必须经过哈希计算来查找对应的链表节点，这几乎是需要这个范围每一个数据都需要去哈希表中查找一次，性能比较差。 📷 B+树 B+树支持增、删、改、查操作，并且很好支持范围查找，插入和查找性能均衡。 B+树的结构每个非叶子节点是数据索引，叶子节点是数据或者数据的指针。B+树叶子节点之间的连接可以实现高效的范围查询，例如innoDB存储引擎默认就是B+树结构. 传统的B+树读写相对比较均衡，但是当内存容
近些年伴随着苹果生态的蓬勃发展，越来越多的用户开始尝试接触Mac电脑。然而很多人上手Mac后会发现，它的使用逻辑与Windows存在很多不同，而且随着使用时间的增加，一些奇奇怪怪的文件也会占据有限的磁盘空间，进而影响使用。
现许多团队使用 Nexus 来管理 Docker 镜像，产品不断迭代，镜像仓库占用的磁盘空间也越来越大。由于 Nexus 的控制台并未提供批量操作镜像功能，清理镜像十分不便。本文分享一个清理 Nexus 中 Docker 镜像的小工具 — nexus-cli。
CleanMyMac X是一款专业的Mac清li软jian，可智能清limac磁盘垃圾和多余语言安装包，快速释放电脑内存，轻松管理和升级Mac上的应用。
结论先行：Windows成功诊断出虚拟内存不足的情况，这里的虚拟内存不是pagingfile，而是保留物理内存之外的实际可被操作系统利用的物理内存+虚拟内存之和。
区块链的每个区块，都是用来承载某个时间段内的数据的，每个区块通过时间的先后顺序，使用hash散列值的方式(或者其他方式)将其串连起来，形成了一个完整的分布式数据库，在比特币系统里，这个完整的分布式数据库就是比特币的账本，而里面的每个区块就相当于账本的每一页，hash散列值就相当于账本里的防伪码。 然而，截止目前为止，比特币的区块，仍然还是当初中本聪设计比特币时的区块大小1MB。 这个区块大小1MB看起来好像不大，任何的PC的1MB的空间，几乎可以忽略不计，但你要知道，比特币的每个节点，他都是从比特币第一笔交
我们执行增删改操作的时候，首先会在Buffer Pool中加独占锁更新缓存页，那么缓存页和底层的物理磁盘上的数据页的原理，在更新完Buffer Pool中的缓存页之后，必须要写一条redo log，这样才能记录下来我们对数据库做的修改。redo log可以保证我们事务提交之后，如果事务中的增删改SQL语句更新的缓存页还没刷到磁盘上去，此时MySQL宕机了，那么MySQL重启过后，就可以把redo log重做一遍，恢复出来事务当时更新的缓存页，然后再把缓存页刷到磁盘就可以了redo log本质是保证事务提交之后，修改的数据绝对不会丢失的。
以日志的形式来记录每个写操作（增量保存），将Redis执行过的所有写指令记录下来(读操作不记录)， 只许追加文件但不可以改写文件，redis启动之初会读取该文件重新构建数据，换言之，redis 重启的话就根据日志文件的内容将写指令从前到后执行一次以完成数据的恢复工作
Kubernetes 每天可以生成数百万个新指标。监控集群健康状况最具挑战性的方面之一是筛选哪些指标是重要的，需要收集和关注。
倒排索引（Inverted Index）也叫反向索引，有反向索引必有正向索引。通俗地来讲，正向索引是通过key找value，反向索引则是通过value找key。ES底层在检索时底层使用的就是倒排索引。
Hello 各位 ，我是公号「八点半技术站」的创作者 - Bruce.D （姓氏：豆）。
在生活中，数据库管理员最担心的就是数据库瘫痪，从而造成数据丢失，任何数据的丢失都会造成非常严重的后果，所以我们为了更有效的保护和恢复数据，需要进行备份数据。 一般来说，造成数据的丢失主要包括几类： 1、程序错误：程序异常终止或逻辑错误 2、人为错误：管理员误操作 3、计算机失败：系统崩溃，硬件和软件引起的错误 4、磁盘失败：磁盘读写磁头损坏、磁盘物理块损坏 5、灾难和偷窃：自然灾害、人为偷窃都会造成 SQL server的备份有如下三种： 1、完整备份：完整备份包括对整个数据库、部分事务日志、数据库结构和文件结构的备份。它代表的是备份完成时刻的数据库。是所有备份类型的基础。
上世纪90年代，伯克利的Jhon Ousterhout带领一个小组开发了一个新的文件系统来尝试解决文件系统的性能问题，这个研究的成果就是Log-structured File System(LFS)，然而多年以来它并没有得到业界的采纳，直到固态硬盘（Solid State Drive)兴起后，LFS才终于大放异彩。
可观测性领域是一个动态且异质的领域。在这个生态系统中，商业巨头如Datadog、New Relic和Splunk与大型OS/免费堆栈（如ELK、Prometheus/Loki/Grafana和TIG（Telegraf/InfluxDB/Grafana））共存。然而，在近年来，三种技术趋势汇聚在一起，重塑了这一格局，为基于新一代强大开源技术和标准构建的新堆栈铺平了道路。可观测性周期表中的三个新元素是：
Redis是一个基于内存的数据库，它的数据是存放在内存中，内存有个问题就是关闭服务或者断电会丢失。Redis的数据也支持写到硬盘中，这个过程就叫做持久化。
有时，进步难以察觉，特别是当你正身处其中时。而对比新旧资料之间的差异，寻找那些推动变革的信息源，我们就可以清晰地看到进步的发生。在Linux（以及大部分Unix系统）中，都可以印证这一点。
Gavin Zhu，携程软件技术专家，负责监控系统运维开发、ES系统运维及Clickhouse技术应用推广及运维工作。
可以通过版本号使用乐观并发控制，以确保新版本不会被旧版本覆盖，由应用层来处理具体的冲突； 另外对于写操作，一致性级别支持quorum/one/all，默认为quorum，即只有当大多数分片可用时才允许写操作。但即使大多数可用，也可能存在因为网络等原因导致写入副本失败，这样该副本被认为故障，分片将会在一个不同的节点上重建。 对于读操作，可以设置replication为sync(默认)，这使得操作在主分片和副本分片都完成后才会返回；如果设置replication为async时，也可以通过设置搜索请求参数_preference为primary来查询主分片，确保文档是最新版本。
随着腾讯云 Elasticsearch 云产品功能越来越丰富，ES 用户越来越多，云上的集群规模也越来越大。我们在日常运维工作中也经常会遇到一些由于前期集群规划不到位，导致后期业务增长集群规模大了之后带来的各种各样的集群可用性及稳定性问题。这里列举下其中比较典型的几种集群规划问题：
第二章讲了上层抽象：数据模型和查询语言。本章下沉一些，聚焦数据库底层如何处理查询和存储。这其中，有个逻辑链条：
随着网络技术的发展，攻击手段越来越多样，攻击流量的记录也不断被刷新，所有人都有可能成为网络攻击的目标或者受牵连。普通的个人或者中小型企业想要处理流量攻击的问题就必须付出高昂的费用或者巨大的人力成本，而且业务也会受到影响，遭受损失。所以很多个人或企业选择高防服务器，通过节点部署的防火墙或者流量牵引等手段最大限度地避免自身业务受到影响。高防服务器已经成为众多企业的首选，但是高防服务器应该怎么选择呢？
在我们的项目中有很多需要存储的内容出现，比如图片，视频，文件等等，在早期的时候用户量不大，产生的文件也不是很多，这时我们可以把文件和服务程序放在一个服务器中。
es的索引搜索是以lucene为底层的，但是lucene是没有实现分布式,lucene提供了核心的索引和搜索引擎，ES则提供分布式和高可用。
默认情况下，MongoDB 更侧重高数据写入性能，而非事务安全，MongoDB 很适合业务系统中有大量 “低价值” 数据的场景。但是应当避免在高事务安全性的系统中使用 MongoDB，除非能从架构设计上保证事务安全。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
