NVMe SSD具有高性能、低时延等优点，是目前存储行业的研究热点之一，但在光鲜的性能下也同样存在一些没有广为人知的问题，而这些问题其实对于一个生产系统而言至关重要，例如：
这本手册是《Intel 64 and IA-32 Architectures Software Developer's Manual》，全书共4卷，学习之后可以对x86计算机的工作机制有庖丁解牛一般的深入理解。
子虚将全书阅读了三遍以后，顿悟了一个道理：大革命的爆发，其根本原因是因为生产关系无法适应生产力的攀升，从而不得不通过革命这种激烈的方式，来重构原本构建在传统硬件上的落后的基础软件。
平时执行的更新语句，都是从磁盘上加载数据页到DB内存的缓存页，接着就直接更新内存里的缓存页，同时还更新对应的redo log写入一个buffer中。
通过讲解如何优雅扩容云硬盘，我们了解了云盘连接到服务器上的具体操作过程。那么，如何进一步了解已挂载硬盘的实际性能呢？你或许会疑惑，测试硬盘性能，为什么不能用Linux系统自带的dd工具呢？而且不少人之前都这么用的：
广义上Cache的同步方式有两种，即Write Through（写穿）和Write back（写回）. 从名字上就能看出这两种方式都是从写操作的不同处理方式引出的概念（纯读的话就不存在Cache一致性了，不是么）。对应到Linux的Page Cache上所谓Write Through就是指write(2)操作将数据拷贝到Page Cache后立即和下层进行同步的写操作，完成下层的更新后才返回。而Write back正好相反，指的是写完Page Cache就可以返回了。Page Cache到下层的更新操作是异步进行的。
最近，某著名CSP(Cloud Service Provider)推出了一款DBFS(Data Base File System)产品。
目前流行的软件定义存储相关的开源项目主要有GlusterFS、Swift、Lustre和Ceph。这四个项目各有各的特点：GlusterFS提供文件存储，Swift提供对象存储，Lustre主要用在高性能计算，Ceph则基于一套系统提供块、对象及文件功能。
可靠性:是存储系统的基石，一款存储系统至少需要提供99.99%的数据可靠性，数据丢失或者错乱对于存储系统是致命的，对大数据、云存储这样大规模的分布式集群
容器技术改变了应用交付、运行的方式，几乎各种Linux环境下的应用程序都可以使用容器来运行。但是否能在容器环境里运行数据库应用，以及数据库应用是否适合在容器里运行，一直都是大家很关注的问题，今天我们就来深入分析一下容器环境运行MySQL数据库的事。
数据分层存储技术主要应用在混闪存储系统设计，可根据数据冷、热、温的特点，合理调度使用SSD、HDD等不同介质类型的存储资源，降低存储系统的初始购买成本。
在上期，我们讲到，SSD的擦除，是以块(block)为单位进行的，每次将擦除若干个页(page)的内容。如果我们需要改写一个页(page)，有两种实现方法：
在上期，我们提到了，以NFS，CIFS(SAMBA)为代表的资本主义时代的存储技术，虽然实现了远端主机跨越互联网访问共享的数据，极大地提升了生产力，但集中式存储主控(俗称机头)的处理能力成为了IO和吞吐能力的瓶颈，正如资本主义生产关系下，生产资料私有制约束了生产力的进步。
在前几期，我们提到了，在云计算时代，由于对存储IO及吞吐的要求迅速增加，传统SAN存储难以满足需求，基于标准x86节点的分布式存储成为了主流。
一般而言，slave相对master延迟较大，其根本原因就是slave上的复制线程没办法真正做到并发。简单说，在master上是并发模式（以InnoDB引擎为主）完成事务提交的，而在slave上，复制线程只有一个sql thread用于binlog的apply，所以难怪slave在高并发时会远落后master。 ORACLE MySQL 5.6版本开始支持多线程复制，配置选项 slave_parallel_workers 即可实现在slave上多线程并发复制。不过，它只能支持一个实例下多个 databa
导语：疫情期间，腾讯医疗为全国人民提供了及时精准的疫情信息服务。腾讯云kafka作为腾讯医疗大数据架构中的关键组件。在面对业务短时间内成倍的数据存储需求的情况下，如何快速响应、快速扩容以支持业务的稳定运行的呢 本文将从Kafka集群底层物理机层面硬盘的设计方案，来讲解面对不同的业务需求场景，如何选择好合适的磁盘方案。（编辑：中间件小Q妹）
腾讯云 Elasticsearch 目前提供5个版本：5.6.4、6.4.3、6.8.2、7.5.1、7.10.1版本。具体选择那个版本根据实际需求选择。建议选择 6.8.2 以上的版本，优化和稳定性比较好，并且支持长期优化更新。如果后期需要升级版本，在控制台上即可完成升级。
一般而言，slave相对master延迟较大，其根本原因就是slave上的复制线程没办法真正做到并发。简单说，在master上是并发模式（以InnoDB引擎为主）完成事务提交的，而在slave上，复制线程只有一个sql thread用于binlog的apply，所以难怪slave在高并发时会远落后master。
肖鹏老师对于开源数据库尤其是MySQL的研究特别深入，今天我们来一起听他分享自己对MySQL数据库的优化经验！ 作者简介 肖鹏 微博研发中心数据库技术负责人，主要负责微博数据库（MySQL/Reids
1 知己知彼，百战不殆 剖析业务IO模型 了解业务基本存储模型： 最高并发多少，最高读写带宽需求。 并发多少决定了在知道单个RGW最大并发数上限的前提下你需要用多少个RGW的实例去支撑这些并发。 最高读写带宽决定了你要用多少OSD去支撑这么大的读写带宽，同时还要考虑endpoint入口处的带宽是否满足这个需求。 客户端分布在内外还是外网。 客户端主要分布在外网，意味着在公网这种复杂的网络环境下，数据读写会受到一些不可控因素的影响，所以现在做对象存储的公有云都不敢把自己的带宽和延时和并发数告诉你。 客户端分布
如果你觉得这些问题都很简单，都能很明确的回答上来。那么很遗憾这篇文章不是为你准备的，你可以关掉网页去做其他更有意义的事情了。如果你觉得无法明确的回答这些问题，那么就耐心地读完这篇文章，相信不会浪费你的时间。受限于个人时间和文章篇幅，部分议题如果我不能给出更好的解释或者已有专业和严谨的资料，就只会给出相关的参考文献的链接，请读者自行参阅。
面对信息化程度不断提高带来的PB级海量数据存储需求，传统的存储系统在容量和性能的扩展上存在瓶颈。云存储以其扩展性强、性价比高、容错性好等优势得到了业界的广泛认同。分布式文件系统和分布式块存储作为云存储中重要的技术，成为奠定云存储发展的重要基石。
腾讯云轻量应用服务器性能评测，CPU内存计算性能、公网带宽和系统盘详解来看值得买，轻量价格这么便宜是不是性能不行？还真不是，CPU内存计算性能和标准型云服务器差不多，只是轻量服务器限制月流量，从CPU内存计算性能、公网带宽（限制流量）和系统盘三方面来详细说明轻量应用服务器到底值不值得买。
title: "2020-07-23-kubernetes集群使用腾讯云cbs块存储"
在我们的ceph集群中，可能不只有sata盘或者ssd盘，有些时候服务器上同时插了ssd和sata盘用作osd，那如果我们按照默认的crush分布规则，那会使所有pg均分在ssd和sata盘上，造成sata盘的存储空间浪费和整个ceph集群的性能浪费，其实我们可以改变ceph的默认存储规则，来使那些io要求较高的数据存储在由ssd的osd组成的存储池上，将备份数据或者时效性要求不高的数据存储在由sata的osd组成的存储池上，既提高了性能，又可以减少较大数据量存储的成本。
IO是输入输出指令，操作系统向存储控制器下发一个读或者写数据的操作指令，控制器下发地址和数据给存储设备，并返回结果给存储控制器，最后到达操作系统。操作系统的一个IO可能会产生多个实际的存储设备IO。一般可以分为：
作者简介：程彬，腾讯基础架构部数据库研发负责人。2008年毕业加入腾讯，一直从事数据存储相关研发工作;在云计算浪潮涌来之时参与到腾讯云存储产品的打造。目前在腾讯TEG基础架构部，负责数据库(CDB)和云硬盘(CBS)研发相关工作。
云硬盘是一种高可用、高可靠、低成本、可定制化的网络块存储，可作为云服务器的独立可扩展硬盘使用。它提供数据块级别的数据存储，采用三副本的分布式机制，为云服务器提供数据可靠性保证。云硬盘提供以下 SSD 云硬盘、高性能云硬盘及普通云硬盘三种云硬盘类型，不同的硬盘类型、性能、特点和价格均不同。
提示：表3-3所示的测试场景中提及的DW，表示MySQL InnoDB引擎中的DoubleWrite双写缓冲机制，该机制是一种数据页的安全保护机制。因MySQL InnoDB的Page Size默认为16k，而文件系统的Block Size默认为4k，当刷新脏数据过程中因进程意外崩溃或主机意外宕机则可能导致数据页发生部分写（损坏）。其核心原理是将脏数据页写两遍，先写一遍到DoubleWrite中，DoubleWrite写入成功之后，再将脏数据页写入到表空间中。期间表空间中的数据页发生部分写，则可以从DoubleWrite中读取完整的页进行恢复。
dd 也是我们经常使用到的磁盘测试工具，Linux服务器装好系统之后，想要知道硬盘的读写是否能满足服务的需要，如果不满足硬盘的IO就是服务的一个瓶颈。我们可以使用dd命令简单进行测试，更为专业的测试可以使用上面描述的fio 工具：
在做数据库维护的时候，经常会跟磁盘打交道，对于“Raid”这个词，肯定大家都不陌生，今天我们讲讲Raid阵列。
备注：早些年磁盘每个磁道扇区数量相同，可以用上面的公式计算磁盘容量；现代磁盘每个磁道扇区数量不同，故上面的磁盘容量计算公式已经不适用。
＂鹅厂网事＂由深圳市腾讯计算机系统有限公司技术工程事业群网络平台部运营，我们希望与业界各位志同道合的伙伴交流切磋最新的网络、服务器行业动态信息，同时分享腾讯在网络与服务器领域，规划、运营、研发、服务等层面的实战干货，期待与您的共同成长。 网络平台部以构建敏捷、弹性、低成本的业界领先海量互联网云计算服务平台，为支撑腾讯公司业务持续发展，为业务建立竞争优势、构建行业健康生态而持续贡献价值！ 前 言 2015年5月1号，来自QQ相册和微信相册的当天统计，分别上传照片7亿张和5亿张。如此海量的规模需要多大的存储
当内存数据页跟磁盘数据页内容不一致的时候，我们称这个内存页为“脏页”。内存数据写入到磁盘后，内存和磁盘上的数据页的内容就一致了，称为“干净页”。
＂鹅厂网事＂由深圳市腾讯计算机系统有限公司技术工程事业群网络平台部运营，我们希望与业界各位志同道合的伙伴交流切磋最新的网络、服务器行业动态信息，同时分享腾讯在网络与服务器领域，规划、运营、研发、服务等层面的实战干货，期待与您的共同成长。 网络平台部以构建敏捷、弹性、低成本的业界领先海量互联网云计算服务平台，为支撑腾讯公司业务持续发展，为业务建立竞争优势、构建行业健康生态而持续贡献价值！ 前言 2015年5月1号，来自QQ相册和微信相册的当天统计，分别上传照片7亿张和5亿张。如此海量的规模需要多大的存储空间
本文主要描述ThinkSNS Plus服务端系统性能、服务端高性能部署方案及优化措施、服务端系统持续优化及升级策略。本文未涉及前端（PC站点、H5站点、Android、IOS）性能方案。
生产中经常遇到一些IO延时长导致的系统吞吐量下降、响应时间慢等问题，例如交换机故障、网线老化导致的丢包重传；存储阵列条带宽度不足、缓存不足、QoS限制、RAID级别设置不当等引起的IO延时。
有关Windows磁盘性能压测，笔者还是强烈推荐使用微软自己开源的压测工具DiskSpd。当然，如果要使用其他磁盘性能压测工具也是可以的，比如：IOMeter（老牌经典）、FIO（更适合Linux）等。
ENVI 是图像处理和分析软件的行业标准。图像分析师、GIS专业人员和科学家使用它从地理空间图像中提取及时、可靠和准确的信息。
前面几篇文章，主要围绕的是机械硬盘来说的。目前ssd目前应用也越来越广了，值得我们花精力琢磨琢磨。SSD硬盘是地地道道电子技术下的产品，因为不像机械硬盘IO时依赖两个耗时的机械轴行为：磁盘旋转，以及磁道寻道，SSD硬盘的访问延迟要比机械硬盘要低的多，在随机IO下的表现尤其明显。我们今天从最底层出发，看看SSD的几个内部机理。
Written by 王磊(bluestn). Summary SRS支持将直播录制为VoD文件，在压测时，如果流路数很多，会出现CPU消耗很多的问题。 原因是写入较小视频包时，SRS使用了write，由于没有缓冲能力，导致频繁的系统调用和磁盘繁忙。 优化方案，可以选择fwrite(v5.0.133+)，或者老版本用内存盘方案，可将DVR性能提升一倍以上。 Environments SRS服务器配置如下： • CPU：INTEL Xeon 4110 双路16和32线程 • 内存：32G • 网卡：10Gb
从2005年三星作为第一个进入SSD市场的巨头，到现在短短15年，SSD已经成为非常普遍的存储介质了，相对于机械硬盘HDD，SSD在IOPS上提升了数百倍，带宽提升了数倍，如今NVMe硬盘又进一步将普通SATA SSD的性能提升了近十倍。不管是普通的SATA SSD，还是NVMe SSD，对于大多数人说，只是介质和性能上的变化，普通人甚至IT工程师会简单地认为，只要使用了SSD，存储系统访问数据的性能也会随之获得数百倍性能的提升，事实真的是这样吗？这个问题，其实很像是这样的，只要装上法拉利的发动机，车就一定快了吗？我想只有法拉利的工程师知道车身任何一度的变化，会增加多少风阻，影响百分之几秒的速度。
能否利用TStack的计算、网络和存储能力，将Oracle运行在X86服务器，IP网络，云存储的“云化”架构上，去掉IOE架构中的I和E呢？
近期，浪潮发布了采用英特尔双端口傲腾SSD的全闪存存储新品——AS5000G5-F，成为全球范围内较早采用傲腾双端口固态盘的存储厂商之一。这一创新看得出浪潮在存储新技术上的开放态度，与此同时，浪潮在全球市场表现在提醒着我们，这是一家TOP级存储厂商分内的事儿。
在这段时间里，我们小结了云存储的基本知识、块存储和对象存储的基本实现，以及如何让块存储和对象存储为云计算的基本单位——虚拟机，提供存储服务。
都说数据堪比新时代的石油，极富价值。但比数据本身更重要的是，数据价值如何快速、高效地释放。毫无疑问，谁能快速、高效释放数据价值，谁就在激烈市场竞争中占据主动。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
云直播
对象存储
