昨天，发了一篇文章，讲的是磁盘均衡的策略，浪尖是以增加大磁盘的目录数的方式，来提升大磁盘的写入概率。这其实只适合，磁盘大小不一导致的datanode节点数据写入磁盘生成的不均衡。...对于有相同的磁盘大小，还造成了不均衡，比如小文件，不到一个block块大小的小文件太多，虽然，同一datanode的各个磁盘block数是一样，但是由于block大小不均，占用磁盘大小确实不一样，这种不均衡策略确实不实用...在我们目前使用的Hadoop 2.x版本当中，HDFS在写入时有两种选择卷（磁盘）的策略，一是基于轮询的策略（RoundRobinVolumeChoosingPolicy），二是基于可用空间的策略（AvailableSpaceVolumeChoosingPolicy...并且卷的可用空间只是诸多因素中的一个，仍然不够全面，磁盘I/O等指标也是比较重要的。但不管如何，它已经比纯轮询策略好得太多了。...选择基于可用空间的策略，还有两个属性需要注意。
// 线上磁盘写满导致MySQL复制失败案例 // 01 案例场景 今天在线上发现一个问题，由于监控没有覆盖到，某台机器的磁盘被写满了，导致线上MySQL主从复制出现问题。...We stopped at log 'mysql-bin.000446' position 9489626 从描述中可以看到，error log是比较智能的，发现了磁盘问题，并提示我们需要"consider...out of disk space" 02 解决问题 登录服务器，很快就发现是MySQL所在的服务器磁盘使用率达到100%了，问题原因跟error log中的内容一致。...基本的思路就是清理磁盘文件，然后重新搭建复制关系，这个过程似乎比较简单，但是实际操作中，在搭建复制关系的时候出现了下面的报错： ### 基于gtid的复制，想重新搭建复制关系 localhost....03 一点总结 当磁盘写满的情况发生之后，mysql服务无法向元信息表中写数据，relay log也可能已经不完整了，如果直接清理了服务器上的磁盘数据，再去重新change master修改主从复制关系
一、前言 ● 随机写会导致磁头不停地换道，造成效率的极大降低；顺序写磁头几乎不用换道，或者换道的时间很短 ● 本文来讨论一下两者具体的差别以及相应的内核调用 二、环境准备 组件 版本 OS Ubuntu...1）同步随机写 主要采用fio作为测试工具，为了能够看到系统调用，使用strace工具，命令看起来是这样 先来测试一个随机写 strace -f -tt -o /tmp/randwrite.log...随机读每一次写入之前都要通过lseek去定位当前的文件偏移量 2）同步顺序写 用刚才的方法来测试顺序写 root@wilson-ubuntu:~# strace -f -tt -o /tmp/write.log...util=74.32% 可以看到，slat指标出现，lat 近似等于 slat + clat 之和（avg平均值）；并且换成异步io之后，吞吐量得到了极大的提升，120M左右 六、总结 ● fio应该作为磁盘的...baseline工具，拿到机器（物理机或者云机器）都应该第一时间对机器的磁盘做一个基线测试，做到心中有数 ● 本文所有的测试，都是绕开了缓存，在实际应用中需要将缓存的影响考虑进去
RAID 1 RAID 1称为磁盘镜像：把一个磁盘的数据镜像到另一个磁盘上，在不影响性能情况下最大限度的保证系统的可靠性和可修复性上，具有很高的数据冗余能力。...磁盘所能使用的空间只有磁盘容量总和的一半，系统成本高 只要系统中任何一对镜像盘中至少有一块磁盘可以使用，甚至可以在一半数量的硬盘出现问题时系统都可以正常运行。...RAID 1磁盘控制器的负载相当大，用多个磁盘控制器可以提高数据的安全性和可用性。...RAID 3对于大量的连续数据可提供很好的传输率，但对于随机数据，奇偶盘会成为写操作的瓶颈。 利用单独的校验盘来保护数据虽然没有镜像的安全性高，但是硬盘利用率得到了很大的提高，为 n-1。...RAID5 可以经受一块磁盘故障，但不能经受两块或多块磁盘故障。
在上一个文章中详细了介绍了什么是混沌工程以及混沌工程执行的原则，和混沌工程实验中数据库调用延迟，下来详细的介绍另外一个混沌实验，也就是云服务器磁盘被写满的情况的模拟实验和解决思路。...实验的核心是模拟当服务器的磁盘写满的情况下，这个时候服务器就会成为只读的属性。...比如举个案例，当DB的服务器磁盘写满的情况下，那么这个时候DB服务器就成为只读属性，这个时候产品使用的数据库由于成为了只读属性，意味着使用这个DB的服务器就会出现大面积的瘫痪导致服务不可用。...下来首先模拟下磁盘写满的操作，在操作前首先查看磁盘已使用的空间以及可使用的空间，具体如下： 系统资源整体性的监控信息具体如下图所示。...那么在如上的实验中，需要思考的是在磁盘写满的情况下需要很快速的触发报警机制，然后来排查到底是什么原因导致磁盘空间写满以及针对情况需要给出具体的技术解决方案，同时也要能够快速的切换到一个正常的服务器继续让产品的服务能够提供服务
以下以Virtual Box的vdi格式为例 指导思想 虚拟机: 清理系统，卸载、删除系统垃圾文件 虚拟机: 将磁盘数据靠“前”移动，使用 Free Utility 将剩余磁盘空间写“零” 物理主机...: 清除“零”字节空间，使用 VBoxManage modifyhd 工具压缩 VDI 磁盘镜像文件 Windows 虚拟机 虚拟机: 删除系统垃圾文件，运行磁盘整理程序… 虚拟机: 用 SDelete...工具写”零”，下载地址 http://technet.microsoft.com/en-us/sysinternals/bb897443.aspx，下载后存到 Windows\System32\目录中...Linux 虚拟机 虚拟机: 清理、卸载系统垃圾文件 虚拟机: 写“零”， 方法一：创建一个文件，填充零，再删除 dd if=/dev/zero of=junk[这是挂载分区的目录] sync...== Virtual PC 的虚拟磁盘文件，vhd的压缩命令为 ======= diskpart select vdisk file=[虚拟磁盘文件地址].vhd compact vdisk
心情大好，给VPS升级了一下系统，然后自己配了LNMP安装脚本，用yum源安装的话更新比较方便点哈 这个过程挺麻烦啊，所以果断要记下来，以防以后要用到 如果...
编辑手记：前两天同事讨论到一个问题，当mysql从库磁盘满之后，show status及show slave status会被卡住，但其他select操作不受影响，但如果数据库是主库，磁盘满了之后，只有...1..以下所有讨论都基于mysql 5.5.37版本及官方文档，不保证适用于其他版本。 2.下文中提到的磁盘满，指的是数据文件（数据文件，日志文件，配置文件）所在磁盘分区。...2.每十分钟给日志文件写入一条记录，报告磁盘已经写满。 但是对不对？...上面是对主库所在磁盘写满之后，数据库实例的反应，下面讲讲我们遇到的情况：从库磁盘写满之后，show status及show slave status会被卡住，但其他select操作不受影响。...看了以上的结论，是否会想到另外一个操作顺序：磁盘写满－>show status，这种操作的结果是：show status不会被阻塞的。
支持写时拷贝（COW, copy-on-write），镜像文件只反映底层磁盘的变化； 支持快照（snapshot），镜像文件能够包含多个快照的历史（raw不支持快照）； 可选择基于 zlib 的压缩方式...，它允许每个簇（cluster）单独使用 zlib 压缩； 可选择 AES 加密，支持使用 128 位的 AES 密钥进行加密； 磁盘分配策略介绍 Vmware 磁盘分配策略 1、厚置备延迟置零（zeroed...创建过程中为虚拟磁盘分配所需空间。创建时不会擦除物理设备上保留的任何数据，从虚拟机首次执行写操作时会按需要将其置零。立刻分配指定大小的空间，空间内数据暂时不清空，以后按需清空。...qcow2磁盘分配策略 off：缺省策略，即不使用预分配策略，采用动态分配磁盘空间的方式，只在需要时分配实际数据所需的空间，稀疏映像类型。...metadata：分配元数据(metadata)，预分配后的虚拟磁盘仍然属于稀疏映像类型，实际占用的空间比off策略稍大一些 full：分配文件的块并标识状态为未初始化，即只分配空间,但不置零(不格式化
压缩后： 注意，压缩后，需要重新修复索引： 查看结果，发现现在的数据变成12741KB了，比之前的更小了： 压缩优势：节省磁盘空间，减少磁盘IO开销。特点：压缩后的表变成了只读表，不可写。...特征是阻塞其他客户端的写操作，不阻塞读操作。（并发读） 写锁：写操作时增加的锁，也叫独占锁或排他锁，X-lock。特征是阻塞其他客户端的读，写操作。...关键字也会对应记录地址 以上设计为了解决一次性磁盘IO开销，可以读取到更多的关键字数量。...一主多从典型结果：主服务器负责写数据。从服务器负责读数据。复制功能mysql会自带。...读写分离，负载均衡： php不再操作MYSQL数据库服务器，而是去操作读写分离、负载均衡服务器，只要服务器安装了mysql proxy或Ameoba软件就可以实现读写分离和负载均衡，读写分离是指该服务器会判断客户端的操作是读还是写
mdadm /dev/md0 -f /dev/sdb #-f 模拟设备损坏，模拟/dev/md0 磁盘阵列的/dev/sdb 磁盘损坏 mdadm -D /dev/md0 #查看 此时可以看到可用磁盘少了一块...需要重启系统再加一块磁盘，才能使用命令实现将磁盘加进去。...添加一块磁盘到 RAID 阵列的命令：例添加/dev/sdb 到 /dev/md0中 mdadm /dev/md0 -a /dev/sdb 在 RAID 10 级别的磁盘阵列中，当 RAID 磁盘阵列中存在一个故障盘时并不影响...5、磁盘阵列+备份盘 RAID 10 磁盘阵列中最多允许 50% 的硬盘设备发生故障，但是存在这样一种极端情况，即同一 RAID 1 磁盘阵列中的硬盘设备若全部损坏，也会导致数据丢失。...(2)再次将硬盘设备 /dev/sdb 移出磁盘阵列，查看 /dev/md0 磁盘阵列的状态。
可我回头一想，磁盘异常导致DN异常倒是碰到过，磁盘写满也能导致DN异常？ 带着疑问做了一番梳理，接下来我们就来聊聊。...【DN运行过程中磁盘写满会怎样】 ---- 首先，DN运行时，单块磁盘写满，是否会引发问题？...例如：先将某个磁盘写满（如下图所示） 此后，继续向hdfs写入文件，发现写入的文件都正常，已经写满的磁盘不会继续存储新的数据 【DN写block时的磁盘分配策略】 ---- DN中磁盘分配有两种策略...然后根据block数据的大小，从中选择不同的部分，最后再轮询选择一个具体的磁盘作为最终存储block的路径。 相比轮询策略而言，该策略有了一定优化，能一定程度保证磁盘间存储空间的平衡。...【总结】 ---- 回过头，再看运维兄弟给我反馈的问题，说磁盘写满导致DN异常，应该是不会出现这种情况的。 第二天重新找该兄弟进行了确认，确认了是磁盘故障，而不是磁盘写满导致。
mysql的日志文件还是存在普通机械磁盘上，因为这些日志本来就是顺序IO的，存在SSD上浪费磁盘。...这很大几率会影响到MySQL的性能。 可以使用MegaCli64来查看和设置RAID卡缓存策略。...MySQL是单进程多线程的架构。当NUMA采用默认default的分配策略时，MySQL进程会被并且仅被分配到NUMA的一个节点上去。...如果单机运行多个MySQL实例，我们可以将MySQL绑定在不同的CPU节点上，并且采用绑定的内存分配策略，强制在本节点内分配内存，这样既可以充分利用硬件的NUMA特性，又避免了单实例MySQL对多核CPU...设置noatime的重要性是消除了文件系统对文件的写操作，文件只是简单地被系统读取。
Jenkins在帮助我们自动化构建服务的同时也在消耗服务器的磁盘空间，试想如果构建的项目个数很多，而Jenkins 服务器磁盘空间又不是非常大的话，每隔一段时间磁盘空间就会爆满导致Jenkins出现磁盘空间不足无法构建的后果...二、转移磁盘空间 转移磁盘空间的思路是通过改变Jenkins的默认主目录达到把构建记录转移到其他磁盘的方式。...具体操作方式也非常简单： 创建Jenkins根目录环境变量JENKINS_HOME，将该环境变量映射到具体某个工作目录 重启Jenkins即可 当然，转移磁盘空间只是一种相对优化的策略，如果构建需求量非常巨大...，该策略通常也是治标不治本，所以我们还有第三种策略。...四、小结 通过上述三种策略，我们可以在实际工作中选择其中的一种或多种，确保Jenkins服务的稳定。
MySQL层安全策略 业务帐号最多只可以通过内网远程登录，而不能通过公网远程连接。 增加运维平台账号，该账号允许从专用的管理平台服务器远程连接。...设置MySQL账号的密码安全策略，包括长度、复杂性。 4. 关于数据备份 记住，做好数据全量备份是系统崩溃无法修复时的最后一概救命稻草。...外网安全策略 事实上，操作系统安及应用安全要比数据库自身的安全策略更重要。...在不影响性能的前提下，尽可能启用对MySQL服务端口的防火墙策略（高并发时，采用iptables可能影响性能，建议改用ip route策略）。...或者可以让应用程序先用中间账号连接proxy层，再由proxy连接MySQL，避免应用层直连MySQL； 最后我们想说，任何高明的安全策略，都不如内部员工的安全意识来的重要。
MySQL8提供了较多的密码管理功能和策略，包括密码过期时间设置，密码重用限制，密码验证，双密码，密码强度评估和密码失败跟踪等。...DBA使用提供的这些功能和策略对MySQL用户的密码进行管理和配置，进一步完善数据库的安全保障。...1 密码过期策略 MySQL提供参数配置设置全局密码过期时间，也可以创建用户时指定密码过期时间，也可以手动设置某一用户密码过期；系统从用户最近一次密码更新时间计时，当超过其允许的生命周期时必须重置密码后才能正常登陆...同样的既可以设置一个全局策略，也可以对每个用户设置单独的策略。 当开启密码重用策略后， mysql.password_history 表中将会记录用户使用的历史密码和该密码被修改的时间。...> alter user 'test'@'%' identified by '123458888'; Query OK, 0 rows affected (0.01 sec) 3 密码验证策略 从 MySQL8.0.13
作者及简介： 黄 炎，爱可生首席技术官； 王 悦，爱可生研发团队成员，负责数据库管理平台相关项目的开发和故障排查，好奇 MySQL 技术原理及各类数据库实现方案。...本文来源：转载自公众号-图解 MySQL *爱可生开源社区出品，原创内容未经授权不得随意使用，转载请联系小编并注明来源。 ---- 一条 insert 语句在写入磁盘的过程中到底涉及了哪些文件？...但仅仅写入内存的 buffer pool 并不能保证数据的持久化，如果 MySQL 宕机重启了，需要保证 insert 的数据不会丢失。...综上（在 InnoDB buffer pool 足够大且上述的两个参数设置为双一时），insert 语句成功提交时，真正发生磁盘数据写入的，并不是 MySQL 的数据文件，而是 redo log 和 binlog...名词背景说明 double write 背景 InnoDB buffer pool 一页脏页大小为 16 KB，如果只写了前 4KB 时发生宕机，那这个脏页就发生了写失败，会造成数据丢失。
文章首发于奇安信攻防社区 https://forum.butian.net/share/362 一.日志写马 1.1条件 1.全局变量general_log为ON MySQL的两个全局变量： general_log...show global variables like '%secure%';查看可以写入的磁盘。（1）当secure_file_priv为空，就可以写入磁盘的目录。...） 3.对web目录有写权限MS的系统就不说了，一般都会有权限的，但是linux的系统，通常都是rwxr-xr-x，也就是说组跟其他用户都没有权限写操作。...： 1.就是mysql用户拥有file_priv权限（不然就不能写文件或者读文件） show global variables like '%secure%';查看into outfile可以写入的磁盘...） 2.对web目录有写权限MS的系统就不说了，一般都会有权限的，但是linux的系统，通常都是rwxr-xr-x，也就是说组跟其他用户都没有权限写操作。
磁盘写满引发的后果 容器数据磁盘写满造成的后果： Pod 不能删除 (一直 Terminating) Pod 不能被创建 (一直 ContainerCreating) 磁盘写满分两种情况： 磁盘空间全部使用完...被占满 $ df -i 文件系统 Inode 已用(I) 可用(I) 已用(I)% 挂载点 /dev/vda1 3276800 3276800 0 100% / 判断磁盘写满方法...不能直接使用 rm 删除日志文件，这样磁盘空间是不会释放的。...# 取消不可调度的标记 $ kubectl uncordon ${node-name} 定位问题根本原因及解决思路 日志输出量大，导致磁盘写满 减少日志输出，调整应用日志输出级别 增大磁盘空间 日志输出到统一日志收集中心...容器镜像占满磁盘 配置k8s垃圾回收策略 节点运行 images 定时清理脚本 可写层量大导致磁盘写满: 优化程序逻辑，不写文件到容器内或控制写入文件的大小与数量 具体优化方法 配置 Docker日志轮转
服务端获取一行，写到net_buffer中，net_buffer使用的内存大小是由参数net_buffer_length定义的，默认16kb 重复获取行，直到net_buffer写满，调用网络接口发送出去...如果发送成功，就清空net_buffer，继续取下一行，并写入net_buffer 如果发送函数返回EAGIN或者WSAEWOULDBLOCK，表示本地网络栈（socket send buffer）写满了...如果某个Session的状态一直处于Sending to client状态，表示服务器端的网络栈写满了。...全表扫描对InnoDB的影响 当我们在查询数据的时候，会从磁盘上读取数据页到内存中，如果内存中的数据页是最新的，可以直接读取内存也返回，不需要从磁盘上再次读取。...由于现在磁盘和内存的数据量完全是一个量级，因此很容易出现页淘汰的现象。
领取专属 10元无门槛券
手把手带您无忧上云
