如果业务同时存在新增/删除/更新场景，建议多做几次新建增量快照，算出周期(小时/日/周/月)平均增量。
这是100个命令的第58个命令，包含了LVM 中pvcreate、vgcreate、lvcreate 等命令的使用方法以及 LVM 的原理的简要介绍。
petmaster出品 必是精品 一、概述 LVM全称为Logical Volume Manager，即逻辑卷管理器。LVM可以弹性的调整文件系统的容量，可以将多个物理分区整合在一起，并且根据需要划分空间或动态的修改文件系统空间。 LVM有两个版本： lvm,lvm2 二、LVM的相关概念 1、物理卷(PV) 物理卷是LVM的最底层的元素，组成LVM的物理分区就是PV。 2、卷组（VG） 将各个独立的PV组合起来，所形成的一个存储空间称为VG；VG
云硬盘（Cloud Block Storage，CBS）是一种高可用、高牢靠、低本钱、可定制化的块存储设备，能够作为云服务器的独立可扩展硬盘运用，为云服务器实例供给高效牢靠的 存储 设备。云硬盘供给数据块级别的持久性存储，通常用作需要频频更新、细粒度更新的数据（如文件体系、数据库等）的主存储设备，具有高可用、高牢靠和高性能的特色。云硬盘选用三副本的分布式机制，将您的数据备份在不同的物理机上，防止单点毛病引起的数据丢失等问题，进步数据的牢靠性。
概述 jvm中除了程序计数器，其他的区域都有可能会发生内存溢出 内存溢出是什么？ 当程序需要申请内存的时候，由于没有足够的内存，此时就会抛出OutOfMemoryError，这就是内存溢出 内存溢出和内存泄漏有什么区别？ 内存泄漏是由于使用不当，把一部分内存“丢掉了”，导致这部分内存不可用。 当在堆中创建了对象，后来没有使用这个对象了，又没有把整个对象的相关引用设为null。此时垃圾收集器会认为这个对象是需要的，就不会清理这部分内存。这就会导致这部分内存不可用。 所以内存泄漏会导致可用的内存减少，进而会
磁盘阵列（Redundant Arrays of Independent Disks，RAID），有"独立磁盘构成的具有冗余能力的阵列"之意。
数据库快照是数据库（称为“源数据库”）的只读静态视图。在创建时，每个数据库快照在事务上都与源数据库一致。在创建数据库快照时，源数据库通常会有打开的事务。在快照可以使用之前，打开的事务会回滚以使数据库快照在事务上取得一致。
###背景 随着ceph集群不断的变大和复杂，可能会遇到，整个容量很大，但是真正的数据使用率很低的情况。比如明明有100多TB的空间，但是数据才存了20TB,就发生了osd full的问题。磁盘使用率极为不平衡。这就需要人工干预了，其中有一些技巧和规范，我自己总结一下，希望对大家有用，另外下面都是我自己的理解，可能表述和理解是有问题，仅供参考，我尽可能用我实际操作的结果来证明我的理解。 ####机型的选择和crush map的划分
不少客户都在使用K8S来管理容器，并且通过Portworx来管理容器存储。虽然云原生的方式让我们获得了更大的自动化和灵活度，许多客户在容器下层的基础架构层的扩展性方面，仍然有一定的局限。K8S和Portworx能够自动化部署容器应用，但是这些应用所基于的基础架构还无法通过自动化的方式进行扩展。DevOps团队还经常被要求去做基础架构投资成本收益的财务分析，并增加财务管理手段来降低成本和让成本更具备可预测性。当基础架构被转移到公有云后，成本管理就成为更加重要的方面，不少用户在公有云上的成本甚至高于他们原有的本地部署架构的成本。Portworx新发布的PX-Autopilot能够对存储基础架构进行更加有效的运营管理，并且降低一半的存储成本。
客户：小 D 啊，SOS！昨天我们给一台 MD 存储进行硬盘扩容，不知道哪一步出了问题，服务器识别不到存储的数据卷了！这些数据千万不能丢啊，里面存放了近几年的设计图纸，整个设计部现在都要快瘫痪了！
ZFS文件系统的英文名称为Zettabyte File System,也叫动态文件系统（Dynamic File System）,是第一个128位文件系统。最初是由Sun公司为Solaris 10操作系统开发的文件系统。作为OpenSolaris开源计划的一部分，ZFS于2005年11月发布，被Sun称为是终极文件系统，经历了 10 年的活跃开发。而最新的开发将全面开放，并重新命名为 OpenZFS。
解决golang 的内存碎片问题 本文译自Why I encountered Go memory fragmentation? How did I resolve it?，作者通过分析golang的堆
原因：如果只有一组策略，面向不同的写的场景，会导致数据丢失 - 针对不同读写速度，设置不同策略，进行交叉保存快照，满足各种情况下数据的保存策略
jdk提供的这些工具都是使用java语言编写的，他们都来自于lib/tools.jar,解压tools.jar，然后找到它下面sun/tools,截图如下，可以很清楚的能够看到这些目录的名称和前面看到的工具的名称一致。
LVM逻辑卷管理是Linux对磁盘分区进行管理的一种机制，普通磁盘无法实现动态扩展，而LVM就是将物理磁盘融合成一个巨大的存储池，用户可以按需求动态的调整磁盘的容量，使磁盘容量更好的被利用。
参数说明： 输出的GLOBAL段显示了数据所占用集群存储空间概况。 SIZE: 集群的总容量 AVAIL: 集群的总空闲容量 RAW USED: 已用存储空间总量 %RAW USED: 已用存储空间百分比 输出的POOLS段展示了存储池列表及各存储池的大致使用率。本段没有展示副本、克隆品和快照占用情况。 例如,把1MB的数据存储为对象,理论使用量将是1MB,但考虑到副本数、克隆数、和快照数,实际使用量可能是2MB或更多。 NAME: 存储池名 ID: 存储池唯一标识符 USED: 使用量,单位可为KB、MB或GB,以输出结果为准 %USED: 存储池的使用率 MAX AVAIL: 存储池的最大可用空间 OBJECTS: 存储池内的object个数 注：POOLS 段内的数字是理论值,它们不包含副本、快照或克隆。因此,它与USED和%USED数量之和不会达到GLOBAL段中的RAW USED和 %RAW USED数量。
一、概述 数据一致性是指关联数据之间的逻辑关系是否正确和完整。问题可以理解为应用程序自己认为的数据状态与最终写入到磁盘中的数据状态是否一致。比如一个事务操作，实际发出了五个写操作，当系统把前面三个写操作的数据成功写入磁盘以后，系统突然故障，导致后面两个写操作没有写入磁盘中。此时应用程序和磁盘对数据状态的理解就不一致。当系统恢复以后，数据库程序重新从磁盘中读出数据时，就会发现数据再逻辑上存在问题，数据不可用。 二、Cache引起的数据一致性问题 引起数据一致性问题的一个主要原因是位于数据I/O路径上的各种Cache或Buffer（包括数据库Cache、文件系统Cache、存储控制器 Cache、磁盘Cache等）。由于不同系统模块处理数据IO的速度是存在差异的，所以就需要添加Cache来缓存IO操作，适配不同模块的处理速度。这些Cache在提高系统处理性能的同时，也可能会“滞留”IO操作，带来一些负面影响。如果在系统发生故障时，仍有部分IO“滞留”在IO操作中，真正写到磁盘中的数据就会少于应用程序实际写出的数据，造成数据的不一致。当系统恢复时，直接从硬盘中读出的数据可能存在逻辑错误，导致应用无法启动。尽管一些数据库系统（如Oracle、DB2）可以根据redo日志重新生成数据，修复逻辑错误，但这个过程是非常耗时的，而且也不一定每次都能成功。对于一些功能相对较弱的数据库（如SQL Server），这个问题就更加严重了。 解决此类文件的方法有两个，关闭Cache或创建快照（Snapshot）。尽管关闭Cache会导致系统处理性能的下降，但在有些应用中，这却是唯一的选择。比如一些高等级的容灾方案中（RPO为0），都是利用同步镜像技术在生产中心和灾备中心之间实时同步复制数据。由于数据是实时复制的，所以就必须要关闭Cache。 快照的目的是为数据卷创建一个在特定时间点的状态视图，通过这个视图只可以看到数据卷在创建时刻的数据，在此时间点之后源数据卷的更新（有新的数据写入），不会反映在快照视图中。利用这个快照视图，就可以做数据的备份或复制。那么快照视图的数据一致性是如何保证的呢？这涉及到多个实体（存储控制器和安装在主机上的快照代理）和一系列的动作。典型的操作流程是：存储控制器要为某个数据卷创建快照时，通知快照代理；快照代理收到通知后，通知应用程序暂停IO操作（进入 backup模式），并flush数据库和文件系统中的Cache，之后给存储控制器返回消息，指示已可以创建快照；存储控制器收到快照代理返回的指示消息后，立即创建快照视图，并通知快照代理快照创建完毕；快照代理通知应用程序正常运行。由于应用程序暂停了IO操作，并且flush了主机中的 Cache，所以也就保证了数据的一致性。 创建快照是对应用性能是有一定的影响的（以Oracle数据库为例，进入Backup模式大约需要2分钟，退出Backup模式需要1分钟，再加上通信所需时间，一次快照需要约4分钟的时间），所以快照的创建不能太频繁。 三、时间不同步引起的数据一致性问题 引起数据不一致性的另外一个主要原因是对相关联的多个数据卷进行操作（如备份、复制）时，在时间上不同步。比如一个Oracle数据库的数据库文件、 Redo日志文件、归档日志文件分别存储在不同的卷上，如果在备份或复制的时候未考虑几个卷之间的关联，分别对一个个卷进行操作，那么备份或复制生成的卷就一定存在数据不一致问题。 此类问题的解决方法就是建立“卷组（Volume Group）”，把多个关联数据卷组成一个组，在创建快照时同时为组内多个卷建立快照，保证这些快照在时间上的同步。之后再利用卷的快照视图进行复制或备份等操作，由此产生的数据副本就严格保证了数据的一致性。 四、文件共享中的数据一致性问题 通常所采用的双机或集群方式实现同构和异构服务器、工作站与存储设备间的数据共享，主要应用在非线性编辑等需要多台主机同时对一个磁盘分区进行读写。
有时随着使用可能会出现vmware当初分配给ubuntu系统的空间不足的情况，这个时候就需要扩容，最简单的方式就是通过添加硬盘的方式，但是这种方式添加的硬盘是不绑定根目录的，有时需要扩充根目录空间大小，这时候可以执行下面的操作：
Checkpoint 的存储的位置取决于配置的 State backend（JobManager 内存，文件系统，数据库...）。
服务监控是一个服务中非常重要的组成部分，直接决定了问题的发现及排查速度，并且从一定程度上提高服务一个周期内的可用性。在Java服务中，除了对于 业务、接口耗时&性能的监控之外还需要对Java 所依赖的JVM进行一定的监控策略。对于JVM的合理监控可以帮助我们更加全面的发现问题：比如说内部接口耗时忽然上升、oom频出这类问题，并且合理的JVM监控及分析策略，能够以此为依据进行服务所使用JVM的调优，从而提升稳定性及性能。
场景描述：当Flink程序的checkpoint被激活时，状态会被持久化到checkpoint，以防止数据丢失和无缝恢复。状态在内部如何组织和它们如何以及在哪持久化，依赖于所选的状态后端。
当前，在大数据时代下，数据正在呈现爆炸式增长态势，随着数据量的几何级数增长以及信息化的深入，各种规模的企业对于购买存储设备的需求越来越迫切。大多数企业已经认识到存储数据、管理数据和保护数据的重要性，但面对错综复杂的存储市场，企业该如何选择呢？他们现有的采购模式存在哪些误区呢？ 误区一：存储系统光看硬件指标就行 企业选购存储系统，常见原因就是存储容量将要使用殆尽，或者存储性能已经无法满足应用需求。如果企业在考虑新的项目，如大数据、虚拟桌面基础架构（VDI）、或者像关键任务应用和实时系统等需要持续高性能支持的应
在使用腾讯云产品过程中，经常会遇到一些类似扣费异常，但又无法确认是否扣费异常的问题；本文基于这个主题，将通过一些案例来总结一下关于扣费异常的基本排查方法。
腾讯云服务器目前提供免费的网站快照，这点相对于国内同行来说也是腾讯云的一个亮点。毕竟今时今日云服务器上面免费的东西不多了，人家也是真金白银运营的服务器。相对于阿里云从 2017 年开始对快照收费，腾讯云这点差异化做的还是很不错的。正好魏艾斯博客有个站要重做系统，我也是第一次操作，所以把腾讯云快照创建过程记录一下，对以后有参考意义。 什么是腾讯云快照？快照是腾讯云提供的一种数据备份方式，通过对指定云硬盘进行完全可用的拷贝，通过冗余备份的方式存放在云硬盘以外的空间，可用于恢复云硬盘数据。老魏理解的快照和我们用
今天看到有人问：Vultr Snapshots 快照功能如何使用。Vultr 的快照功能对站长来说是一个很好用的功能，相当于不花钱的后悔药了。 Vultr 官方解释如下：Snapshots are an effective way to make a complete “backup” of your server. You won’t be able to restore individual files, but rather the whole server. 老魏翻译：快照功能可以有效的创建你整个
LVM动态卷管理，可以将多个硬盘和硬盘分区做成一个逻辑卷，并把这个逻辑卷作为一个整体来统一管理，动态对分区进行扩缩空间大小，安全快捷方便管理
腾讯云服务器目前提供免费的网站快照，这点相对于国内同行来说也是腾讯云的一个亮点。毕竟今时今日云服务器上面免费的东西不多了，人家也是真金白银运营的服务器。相对于阿里云从 2017 年开始对快照收费，腾讯云这点差异化做的还是很不错的。正好魏艾斯博客有个站要重做系统，我也是第一次操作，所以把腾讯云快照创建过程记录一下，对以后有参考意义。
云计算的服务不断增加，出现了一些功能看上去类似的产品，如“云快照与云备份”。我们今天从实际操作演示，来总结一下两者之间的区别。
**Jmap (Memory Map for Java）**命令⽤于⽣成堆转储快照。如果不使⽤ jmap 命令，要想获取 Java 堆转储快照，还有⼀些⽐较“暴⼒”的⼿段：-XX: +HeapDumpOnOutOfMemoryError参数，可以让虚拟机在 OOM 异常出现之后⾃动⽣成 dump ⽂件，⽤于系统复盘环节
虚拟机性能监控与故障处理工具 详解 4.1 概述 本文参考的是周志明的 《深入理解Java虚拟机》 第四章 ，为了整理思路，简单记录一下，方便后期查阅。 JDK本身提供了很多方便的JVM性能调优监控工具，除了集成式的VisualVM和jConsole外，还有jps、jstack、jmap、jhat、jstat、hprof等小巧的工具，本文希望能起抛砖引玉之用，让大家能开始对JVM性能调优的常用工具有所了解。 4.2 JDK的命令行工具 | 命令名称 | 全称 | 用途 | | — | — | — | | j
最近，关于腾讯云用户前沿数控公司数据受损一事让数据安全再次成为大家关注的焦点。腾讯云也终于发布了事情原委，详见：关于客户“前沿数控”数据完整性受损的技术复盘。详见：关于客户“前沿数控”数据完整性受损的技术复盘。
raw格式是原始镜像，直接将数据写入磁盘，没有额外的元数据或压缩,由于没有复杂的元数据处理，raw 格式通常比较快，适用于一些对性能要求较高的场景。相对于 qcow2，raw 格式通常不支持虚拟机的快照功能。每个虚拟机实例都需要完整的磁盘空间，不同虚拟机之间不能共享相同的基础数据。
Redis是一款高性能的内存数据库，具有灵活性和可扩展性。Redis采用主从复制的方式建立分布式系统，使得在主节点故障时保证数据的可用性和持久性。当Redis主节点坏掉后，需要及时处理以保证数据的安全性。
什么是cinder？ cinder是一个openstack的组件，用来给云主机提供硬盘的一个服务 还可以对卷进行管理，允许对卷、卷的类型、卷的快照、卷备份进行处理。 它的容量都是通过cinder中实现的驱动对接来自于后端的储存,比如iscsi,glusterfs,nfs,ceph Cinder中的模块 Cinder API：对客户端的操作请求进行解析，并寻找相应的处理方法。包括了卷、快照的增删改查，卷的挂载卸载等。 Cinder Scheduler：根设定的算法，对新建卷指定一个合适的后端储存 Cinder
列出正在运行的虚拟机进程，并显示虚拟机执行主类（Main Class）名称，一级这些进程的本地虚拟机唯一ID（Local Virtual Machine Identifier，LVMID）。 命令格式：
2.jstat：JVM Statistics Monitoring Tool
前文 可达性分析深度剖析：安全点和安全区域 提到过，在可达性分析中，第一阶段 ”根节点枚举“ 是必须 STW 的，不然如果分析过程中用户进程还在运行，就可能会导致根节点集合的对象引用关系不断变化，这样可达性分析结果的准确性显然也就无法保证了；而第二阶段 ”从根节点开始遍历对象图“，如果不进行 STW 的话，会导致一些问题，由于第二阶段时间比较长，长时间的 STW 很影响性能，所以大佬们设计了一些解决方案，从而使得这个第二阶段可以不用 STW，大幅减少时间
一般powershell执行2句命令获取硬盘和网卡驱动版本 [System.Diagnostics.FileVersionInfo]::GetVersionInfo("C:\Windows\System32\drivers\viostor.sys") [System.Diagnostics.FileVersionInfo]::GetVersionInfo("C:\Windows\System32\drivers\netkvm.sys")
逻辑卷管理器（Logical volume Manager）是 Linux 系统用于对硬盘分区进行管理的一种机制，理论性较强，其创建初衷是为了解决硬盘设备在创建分区后不易修改分区大小的缺陷。尽管对传统的硬盘分区进行强制扩容或缩容从理论上来讲是可行的，但是却可能造成数据的丢失。而 LVM 技术是在硬盘分区和文件系统之间添加了一个逻辑层，它提供了一个抽象的卷组，可以把多块硬盘进行卷组合并。这样一来，用户不必关心物理硬盘设备的低层架构和布局，就可以实现对硬盘分区的动态调整。
“备份”想必大家都很熟悉了，在日常工作生活中也会经常用到。但是，大型数据集的完整备份可能需要很长时间才能完成，大型企业的数据流是源源不断的。如果用户将文件移动到已备份的目录中，则备份介质上将完全丢失该文件，因为在添加文件之前已进行了备份操作。
jps（JVM Process Status Tool）是JDK中的一个小工具，它的功能和UNIX的ps命令类似：可以列出正在运行的虚拟机进程，并显示虚拟机执行主类（Main Class，main()函数所在的类）名称以及这些进程的本地虚拟机唯一ID（LVMID，Local Virtual Machine Identifier），LVMID和操作系统的进程ID是一致的，当同时启动多个虚拟机进程，无法根据进程名称进行定位时，就可以使用jps命令显示主类的功能来区分。
当前主流编程语言的垃圾收集器基本上都是依靠可达性分析算法来判定对象是否存活的，可达性分析算法理论上要求全过程都基于一个能保障一致性的快照中才能够进行分析，这意味着必须全程冻结用户线程的运行。
我NAS型号是威联通 TS-551，我原先是用两块2T的机械硬盘组RAID1（1块东芝，1块三星的二手硬盘，三星的通电时间截止目前已经65632小时了，真够坚挺的），还有一块2T的机械硬盘放不重要的数据（日立的，通电时间截止目前也有49897小时了）。还有2块240G的SSD组RAID1做高速缓存。
一、TrueNAS介绍 TrueNAS是一款开源网络存储系统，前身是FreeNAS系统，其目前有三个版本，分别是TrueNAS® CORE、TrueNAS® ENTERPRISE、TrueNAS® SCALE；本文介绍的是TrueNAS® CORE，其基于FreeBSD开发，使用OpenZFS文件系统，对普通硬件兼容性较好，即便在非服务器硬件平台，也能够提供强大的性能和数据安全保障。
虽然目前市场上有很多成熟的 JVM 可视化监控分析工具，但是所有的工具其实都依赖于 JDK 的接口和底层相关的命令，了解这些命令的使用对于我们在紧急情况下排查 JVM 相关的线上故障，会有更加直观的帮助。
运用jvm自带的命令可以方便的在生产监控和打印堆栈的日志信息帮忙我们来定位问题！虽然jvm调优成熟的工具已经有很多：jconsole、大名鼎鼎的VisualVM，IBM的Memory Analyzer等等，但是在生产环境出现问题的时候，一方面工具的使用会有所限制，另一方面喜欢装X的我们，总喜欢在出现问题的时候在终端输入一些命令来解决。所有的工具几乎都是依赖于jdk的接口和底层的这些命令，研究这些命令的使用也让我们更能了解jvm构成和特性。 Sun JDK监控和故障处理命令有jps jstat jmap jh
它可以列出正在运行的虚拟机进程，并显示虚拟机执行主类（Main Class，main()函数所在的类)名称以及正在运行的本地虚拟机唯一ID(LVMID)；
一般指一个具体的Operator的状态(operator的状态表示一些算子在运行的过程中会产生的一些历史结果,如前面的maxBy底层会维护当前的最大值,也就是会维护一个keyedOperator,这个State里面存放就是maxBy这个Operator中的最大值)
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
