LVM精简卷(Thinly-Provisioned Logical Volumes)的概念：
RAIDZ vs RAID本质区别 📷 传统RAID访问,如果出现坏块，上层应用也会读取到坏块 📷 ZFS的RAIDZ访问,如果出现坏块，通过内部机制构造完整块给应用 📷 ZFS存储池 设计用来管理物理设备，就像管理linux内核的虚拟内存一样 存储池内所有文件系统共享存储空间 存储池是由一颗树组成，叶子节点是物理磁盘设备，非叶子节点是逻辑设备(逻辑设备是按照mirror/raid-1或者其他存储模式通过叶子节点的物理设备构建起来的逻辑设备 📷 ZFS内核架构 📷 VFS:Linux内核的虚拟文件系统
正如我前面提到的，ZFS 是一种高级文件系统。因此，它具有一些有趣的功能[9]。如：
确认硬件和软件要求 在安装Ceph集群之前，您需要确保您的服务器符合Ceph的硬件和软件要求。Ceph支持多种操作系统，包括Linux、FreeBSD和Windows。在Linux系统中，推荐使用CentOS、Red Hat Enterprise Linux（RHEL）和Ubuntu。此外，您还需要确保每个节点至少有2个网卡，并且每个节点上的所有磁盘都是相同的大小。
使用libguestfs Linux工具可以在虚拟机无法启动的情况下对虚拟机内部进行检查。
实验要求： 1、安装KVM所需软件，验证。 2、设置KVM网络，将网络设置为桥接模式。 3、使用virt-manager安装linux系统。 4、学会基本kvm管理的命令 （1）查看虚拟机的状态 （2）虚拟机的关机，强制关机和开机 （3）虚拟机的挂起和恢复 （4）配置虚拟机实例伴随宿主机自动启动 （5）导出虚拟机配置 5、kvm文件管理 （1）将raw格式磁盘转换为qcow2格式 （2）转换后，修改xml配置文件 （3）查看虚拟机磁盘信息 6、虚拟机克隆 7、虚拟机快照管理 步骤： 1、搭建yum，安装KV
在专栏之前的几篇文章中，我们总结了缓冲池，缓存页，redo log，undo log，以及数据页和数据行在底层是如何进行存储的，后续介绍了表空间，段，区等概念。这一节比较特殊，讲述的是和Linux有关的交互原理，因为多数的mysql都是部署在linux的服务器上面，本节会简单介绍一下linux是如何处理mysql的请求的，以及linux系统会带来哪些问题
ZFS的设计与开发由Sun公司的Jeff Bonwick所领导的一支团队完成。最早宣布于2004年9月14日，于2005年10月31日并入了Solaris开发的主干源代码。并在2005年11月16日作为OpenSolaris build 27的一部分发布。Sun在OpenSolaris社区开张1年后的2006年六月，将ZFS集成进了Solaris 10 6/06版本更新。 ZFS的命名来源发想于"ZettabyteFile System"的首字母缩写。但 ZFS 本身并不具备任何的缩写意涵，只是作者想阐述做为一个具备高扩充容量文件系统且还有支持许多延伸功能的一个产品。
引用一句经典的话：“UNIX下一切皆文件”。 文件是一种抽象机制，它提供了一种方式用来存储信息以及在后面进行读取。
随着数据量的爆发式增长，许多企业产生数据的量级由原有的TB 级别迅速的提升到 PB 甚至 EB 级别。企业付出成本来存储这些数据的同时自然也想通过挖掘数据信息辅助商业决策，提升管理效率。
[TOC] 0x00 前言简述 Q: 什么是文件系统? 答: 通过创建文件系统可以使文件系统以文件目录的形式共享存储资源。 Q: 什么是文件系统配额? 答: 文件系统配额是一种资源管控技术，用以限制
1.引言 在过去的十几年中，Internet从几个研究机构相连为信息共享的网络发展成为拥有大量应用和服务的全球性网络，它正成为人们生活中不可缺少的 一部分。虽然Internet发展速度很快，但建设和维护大型网络服务依然是一项挑战性的任务，因为系统必须是高性能的、高可靠的，尤其当访问负载不断增 长时，系统必须能被扩展来满足不断增长的性能需求。由于缺少建立可伸缩网络服务的框架和设计方法，这意味着只有拥有非常出色工程和管理人才的机构才能建立 和维护大型的网络服务。
这里介绍LVS集群的通用体系结构，设计原则和相应特点；LVS集群应用于建立可伸缩的Web，Media，Cache和Mail等网络服务。
该文介绍了JVM的内存模型，包括堆、栈、方法区、运行时常量池等。
ERROR 1040(HY000): Too many connections：DB连接池里已有太多连接，不能再和你建立新连接。
存储系统作为IT系统的底层基础架构，存储技术进一步发展和推广对于整个信息产业具有重大意义。在数字化转型过程中，存储系统作为底层基础架构，其改造和实施过程需被重点关注。
导读：InnoDB是事务安全的MySQL存储引擎，设计上采用了类似于Oracle数据库的架构。通常来说，InnoDB存储引擎是OLTP应用中核心表的首选存储引擎。同时，也正是因为InnoDB的存在，才使MySQL数据库变得更有魅力。
常用的 NoSQL 有 redis，mogoDB 等等，这次以 redis 为学习 所有内容学习参考 菜鸟教程
前言： 本文是笔者与同事陈耿共同完成，不代表任何官方观点。 随着容器技术的持续发酵，以及互联网+应用的持续扩张，目前金融行业使用容器云上生产的案例越来越多。在本文正式开始之前，先看看Dockerr和K
安装KVM [root@kvm-centos7 ~]# yum -y install qemu-kvm libvirt virt-install bridge-utils # 确保模块已加载 [root@kvm-centos7 ~]# lsmod | grep kvm kvm_intel 170181 0 kvm 554609 1 kvm_intel irqbypass 13503 1 kvm [root@
本文讲解 Linux 的零拷贝技术，云计算是一门很庞大的技术学科，融合了很多技术，Linux 算是比较基础的技术，所以，学好 Linux 对于云计算的学习会有比较大的帮助。
在Redis中，一个字符串最大512MB，一个二级数据结构（例如hash、list、set、zset）可以存储大约40亿个(2^32-1)个元素，但实际中如果下面两种情况，我就会认为它是bigkey。
Z 文件系统(Z File System)（ZFS）是由 Matthew Ahrens 和 Jeff Bonwick 在 2001 年开发的。ZFS 是作为 太阳微系统(Sun MicroSystem) 公司的 OpenSolaris 的下一代文件系统而设计的。在 2008 年，ZFS 被移植到了 FreeBSD 。同一年，一个移植 ZFS 到 Linux 的项目也启动了。然而，由于 ZFS 是 通用开发和发布许可证 (Common Development and Distribution License)（CDDL）许可的，它和 GNU 通用公共许可证 不兼容，因此不能将它迁移到 Linux 内核中。为了解决这个问题，绝大多数 Linux 发行版提供了一些方法来安装 ZFS。 在甲骨文公司收购太阳微系统公司之后不久，OpenSolaris 就闭源了，这使得 ZFS 的之后的开发也变成闭源的了。许多 ZFS 开发者对这件事情非常不满。 三分之二的 ZFS 核心开发者 ，包括 Ahrens 和 Bonwick，因为这个决定而离开了甲骨文公司。他们加入了其它公司，并于 2013 年 9 月创立了 OpenZFS 这一项目。该项目引领着 ZFS 的开源开发。 让我们回到上面提到的许可证问题上。既然 OpenZFS 项目已经和 Oracle 公司分离开了，有人可能好奇他们为什么不使用和 GPL 兼容的许可证，这样就可以把它加入到 Linux 内核中了。根据 OpenZFS 官网 的介绍，更改许可证需要联系所有为当前 OpenZFS 实现贡献过代码的人（包括初始的公共 ZFS 代码以及 OpenSolaris 代码），并得到他们的许可才行。这几乎是不可能的（因为一些贡献者可能已经去世了或者很难找到），因此他们决定保留原来的许可证。
InnoDB 存储引擎是以数据页为单位来管理存储空间的。InnoDB 存储引擎在处理客户端的请求时，当需要访问某个数据页的数据时，就会把完整的数据页的数据全部加载到内存中，也就是说即使我们只需要访问一个数据页的一条记录，那也需要先把整个数据页的数据加载到内存中。将整个数据页加载到内存中后就可以进行读写访问了，在进行完读写访问之后并不着急把该数据页对应的内存空间释放掉，而是将其缓存起来，这样将来有请求再次访问该页面时，就可以省去磁盘 IO 的开销了。这个缓存就称之为Buffer Pool。
目录 第一部分 实验环境 第二部分 安装图形界面 第三部分 配置KVM虚拟化 第四部分 创建桥接网卡 第五部分 KVM虚拟环境中安装系统 第六部分 克隆 第七部分 其它命令
本文由Ceph中国社区-穆艳学翻译、刘源校稿，英文出处：Red_Hat_Ceph_Storage-2-Ceph_Object_Gateway_for_Production 欢迎加入CCTG 目录 第1章 简介 1.1.适用人群 1.2.前题假设 1.3.涵盖内容 第2章 集群规划 2.1.识别应用场景 2.2.选择数据持久化方法 2.3.考虑多站点部署 第3章 硬件考虑 3.1.存储规模 3.2.存储密度 3.3.网络硬件 3.4.UPS 3.5.依业务场景的硬件选型 3.6.存储桶索引使用SSD 3.7
我并不期望成为一个专家级的 DBA，但是，在我优化 MySQL 时，我推崇 80/20 原则，明确说就是通过简单的调整一些配置，你可以压榨出高达 80% 的性能提升。尤其是在服务器资源越来越便宜的当下。
存储资源盘活系统(HBlock)通过提高资源利用率，优化资源成本，助力企业用户实现绿色转型。它是纯软件的存储控制器，能够安装在任意Linux服务器上，可以把各服务器中分散的磁盘整合成高性能的存储资源池，通过分布式双控制器架构保证了低延迟、高可用、易拓展的特性；通过完善的控制台、命令行与API来统一调度管理所有存储资源；通过强大的兼容性和独特的硬件异构特性充分利用全部存储资源。
很多年以前的时候，技术面试的时候面试官经常会问“程序什么时候需要开启新的线程”这样的问题，那个时候多核 CPU 才刚开始普及，很多人也是才开始逐渐接触多线程技术。而如今多核 CPU 和多线程编程技术已经是下里巴人的技术了。
传统的 Linux 操作系统的标准 I/O 接口是基于数据拷贝操作的，即 I/O 操作会导致数据在操作系统内核地址空间的缓冲区和应用程序地址空间定义的缓冲区之间进行传输。这样做最大的好处是可以减少磁盘 I/O 的操作，因为如果所请求的数据已经存放在操作系统的高速缓冲存储器中，那么就不需要再进行实际的物理磁盘 I/O 操作。但是数据传输过程中的数据拷贝操作却导致了极大的 CPU 开销，限制了操作系统有效进行数据传输操作的能力。
容器存储的选择 时至今日，企业客户运行容器的，编排工具大多数选择K8S。 因此，我们先到社区里看看，目前K8S支持的持久存储，其实也就是PV支持的存储类型。 https://kubernetes.i
研究显示，AI工程化落地过程中，出现痛点从高到底依次是资源利用率、大模型落地、分布式训练效率、推理效率、国产化、异构芯片调度。其中，资源利用率出现频率接近后面五名的总和。深挖痛点，其背后是资源分配不均衡、资源规划不合理、资源碎片多的问题。
生产环境最佳实践 1.linux 系统： 1】关闭文件系统/分区的atime 选项 Vi /etc/fstab 在对应的分区项后面添加noatime ,nodiratime LABEL=/1 / ext3 defaults 1 1 LABEL=/data1 /data ext4 defaults,noatime,nodiratime 1 2 2】设置文件句柄４ｋ＋，目前该配置已经集成到启动脚本中。 Vi /etc/security/limit.conf * soft nproc 65536
作者：ninetyhe，腾讯 CDG 后台开发工程师 本文详细描述如何实现：目前手上可用的资源仅剩一个 16 核剩余 4-8G 内存的机器，单点完成在 1 个小时内千万级别 feed 流数据 flush 操作（主要包括：读数据，计算综合得分，淘汰低分数据，并更新最新得分，回写缓存和数据库）。 背景 目前工作负责的一款产品增加了综合得分序的 Feed 流排序方式：需要每天把（将近 1000W 数据量）的 feed 流信息进行算分计算更新后回写到数据层。手上的批跑物理机器是 16 核（因为混部，无法独享 CPU
存储世界最近发生了很大变化。十年前，Fibre Channel SAN 文件管理器是企业存储的标准。而在目前的环境中，受到基础架构即服务云的影响，数据存储需要更加灵活。
RBD 是 Ceph 的块存储方案，最近需要在一台 Linux 服务器上挂载 Ceph 镜像，做法和 Kubernetes 挂 RBD 很像，但部分操作由于 Kubernetes 在镜像中已经固化了，所以将这次完全自己控制的步骤记录下来，加深对 Ceph 挂载的理解。
在听到 nodejs 相关的特性时，经常会对 异步I/O、非阻塞I/O有所耳闻，听起来好像是差不多的意思，但其实是两码事，下面我们就以原理的角度来剖析一下对 nodejs 来说，这两种技术底层是如何实现的？
对于顺序队列的实现：队列的实现需要两个指针，一个是head指针，指向队头；一个是tail指针，指向队尾；
Azure DevOps非常好用，但是代理服务器的配置相对有点麻烦而且易出问题，接下来笔者分享一下如何快速配置Azure DevOps的代理服务器。值得注意的是，本文以CentOS 7为例，故在开始之前，请先准备好CentOS 7服务器。
Disk：物理硬盘存储 Iscsi:iSCSITarget后端存储 logical:逻辑卷的存储
Ceph是一个可靠地、自动重均衡、自动恢复的分布式存储系统，根据场景划分可以将Ceph分为三大块，分别是对象存储、块设备存储和文件系统服务。在虚拟化领域里，比较常用到的是Ceph的块设备存储，比如在OpenStack项目里，Ceph的块设备存储可以对接OpenStack的cinder后端存储、Glance的镜像存储和虚拟机的数据存储，比较直观的是Ceph集群可以提供一个raw格式的块存储来作为虚拟机实例的硬盘。
MongoDB单个文档的存储限制是16M，如果要存储大于16M的文件，就要用到MongoDB GridFS。
LVS（Linux Virtual Server）即Linux虚拟服务器，是由章文嵩博士主导的开源负载均衡项目，目前LVS已经被集成到Linux内核模块中。该项目在Linux内核中实现了基于IP的数据请求负载均衡调度方案，终端互联网用户从外部访问公司的外部负载均衡服务器，终端用户的Web请求会发送给LVS调度器，调度器根据自己预设的算法决定将该请求发送给后端的某台Web服务器，比如，轮询算法可以将外部的请求平均分发给后端的所有服务器，终端用户访问LVS调度器虽然会被转发到后端真实的服务器，但如果真实服务器连接的是相同的存储，提供的服务也是相同的服务，最终用户不管是访问哪台真实服务器，得到的服务内容都是一样的，整个集群对用户而言都是透明的。最后根据LVS工作模式的不同，真实服务器会选择不同的方式将用户需要的数据发送到终端用户，LVS工作模式分为NAT模式、TUN模式、以及DR模式。
部署完Ceph集群之后，如何在Ceph集群中存储文件呢？ceph提供了三种接口供用户使用，分别是：
作为过来人，我发现很多程序猿新手，在编写代码的时候，特别喜欢定义很多独立的全局变量，而不是把这些变量封装到一个结构体中，主要原因是图方便，但是要知道，这其实是一个不好的习惯，而且会降低整体代码的性能。
在本文中，我将向您展示如何使用新版本的MySQL(5.7+)，以及如何更容易地解决 MySQL内存分配中出现的问题。
容器的存储空间如何提供？ 前段时间，笔者看到一篇文章，题目是“容器就是Linux”，写的不错。容器说简单点就是容器级别的虚拟化，在一个Kernel Space上虚拟出多个User Space。那么，容器如何使用存储空间呢？ 我们知道，Windows和Linux的操作系统，都是使用文件系统的。在RHEL上，可以针对磁盘划分区，然后创建文件系统。当然，也可以使用LVM的方式，将磁盘创建vg，划分lv，然后创建文件系统。 那么，Docker通过什么方式获取存储空间呢，或者说使用什么存储驱动？ 在RHEL, Ce
ceph是模块化和可扩展的，并且有容错设计。先进的分布式存储系统。 ceph凭借其高可扩展性、高可靠性、高性能的特点，逐渐成为openstack\cloudstack、opennebula等主流开源云平台后端存储的首选。可靠性、自平衡、自恢复、一致性 软件定义存储。 可以大幅降低企业存储基础设施的成本。 分布式、可大规模扩展，经济 虚拟平台KVM、VMWARE也支持ceph ceph存储介绍 ceph部署实战 ceph架构和组件 ceph内部构建 ceph部署 ceph存储配置 ceph操作及管理 监控ceph集群 ceph与openstack集成 ceph性能调优和基准测试 1、ceph是什么 ceph是一个开源项目，它提供软件定义的、统一的存储解决方案。ceph可大规模扩展、高性能并且无单点故障的分布式存储系统。容量可扩展至EB级别。1EB=1024PB
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
