流处理系统通常需要优雅地处理反压（back pressure）问题。反压通常产生是由于短时间内负载高峰导致系统接收数据的速率远高于它处理数据的速率。比如，垃圾回收停顿可能导致流入的数据快速堆积，后者双十一等造成流量陡增。反压如果不能够得到很好地处理，可能会导致资源好近甚至系统崩溃。
在过去的20年里，存储硬件的性能提高了两个数量级，首先固态存储系统 SSD 的引入，同时SATA导向了PCIE 的接口方式，最终非易失性的技术以及制造工艺的创新。2019年4月，Intel 发布了首款商用存储SCM，它基于傲腾基础上的持久性内存，基于3D XPOINT 技术，建立在内存总线上降低了I/O方面的延迟。
Change Buffer是InnoDB为了提高非主键索引操作性能而引入的一种机制。它主要应用于非主键索引的更改操作，将即将应用到磁盘上的非主键索引页的更改暂存到内存中的缓冲区。
谈及性能，我们的关注点不再是软件或者系统的功能，而是在其实现功能过程中所表现出来的资源效率。
Video设备产生的数据较多，传统的缓冲机制已不能满足需求。为此，Linux内核抽象出了videobuf2机制，用于管理存放视频图像的帧缓冲。videobuf2抽象层像一座桥梁，将用户空间和V4L2 driver连接起来。videobuf2抽象层向用户空间提供了标准POSIX I/O系统调用，包括read、poll及mmap等，同时还提供了大量与流式I/O相关的V4L2 ioctl调用，包括缓冲区分配、缓冲区入队、缓冲区出队及流控制。虽然使用videobuf2会给驱动程序强加一些设计决策，但是使用它的收益是videobuf2可以减少驱动程序代码和保持V4L2子系统在用户空间API的一致性，显然使用videobuf2更为合理。
反压机制（BackPressure）被广泛应用到实时流处理系统中，流处理系统需要能优雅地处理反压（backpressure）问题。反压通常产生于这样的场景：短时负载高峰导致系统接收数据的速率远高于它处理数据的速率。许多日常问题都会导致反压，例如，垃圾回收停顿可能会导致流入的数据快速堆积，或者遇到大促或秒杀活动导致流量陡增。反压如果不能得到正确的处理，可能会导致资源耗尽甚至系统崩溃。反压机制就是指系统能够自己检测到被阻塞的Operator，然后系统自适应地降低源头或者上游的发送速率。目前主流的流处理系统 Apache Storm、JStorm、Spark Streaming、S4、Apache Flink、Twitter Heron都采用反压机制解决这个问题，不过他们的实现各自不同。
本系列为 CMU 15-445 Fall 2022 Database Systems 数据库系统 [卡内基梅隆] 课程重点知识点摘录，附加个人拙见，同样借助CMU 15-445课程内容来完成MIT 6.830 lab内容。
在MYSQL中，日志是非常重要的，其中Redo log 和undo log都是引擎层（innodb）实现的日志，redo log 是重做日志，提供 前滚 操作，undo log 是回退日志，提供 回滚 操作。
缓冲池是InnoDB存储引擎中一块连续的内存区域，用于缓存磁盘上的数据页和索引页。由于内存访问速度远快于磁盘访问，因此将经常访问的数据和索引加载到缓冲池中，可以显著提高数据库的读写性能。缓冲池的工作原理主要基于“时间局部性”和“空间局部性”原则，即最近访问过的数据在未来很可能再次被访问，且一个数据项被访问时，与其相邻的数据项也很可能被访问。
今天的课程是关于期待已久的缓冲池的话题，其实就是 DBMS 如何管理它的内存并从磁盘来回移动数据，我们希望DBMS自己来管理这些内存与磁盘存储交换的操作，而不是把它留给操作系统。你可以从两个方面考虑数据库存储和内存管理问题：
一、简介 数据库服务器需要CPU、内存、 磁盘和网络才能运行，了解这些资源对于DBA来说非常重要，因为任何的超载行为都可能成为限制因素，导致数据库服务器性能不佳。DBA的主要任务就是调整系统和数据库的配置，避免可用资源的过渡利用和利用不足。 首先，性能优化是一个持续的过程，安装MySQL通常是调整操作系统和数据库配置的第一步。而数据库是一个动态系统，这是一个永无止境的故事。你的MySQL数据库起初可能是CPU绑定的，因为你有足够的内存和很少的数据。随着时间地推移，它可能会改变，磁盘访问可能会变得更加频繁。正
-- 每个表单独文件和单独表空间，而不是放在系统表空间，每个表的文件表空间允许操作系统在表被截断或删除时回收磁盘空间。每表文件表空间还支持动态和压缩行格式以及相关功能
1、innodb存储引擎是支持事务ACID特性的，这个理论基本就是一个关系型数据库相关的数据恢复原形设计，包括日志、回滚、redo、并发控制、buffer pool等管理方面，内容非常全面；
InnoDB 存储引擎是以页为单位来管理存储空间的，我们进行的增删改查操作其实本质上都是在访问页 面（包括读页面、写页面、创建新页面等操作）。而磁盘 I/O 需要消耗的时间很多，而在内存中进行操 作，效率则会高很多，为了能让数据表或者索引中的数据随时被我们所用，DBMS 会申请 占用内存来作为 数据缓冲池 ，在真正访问页面之前，需要把在磁盘上的页缓存到内存中的 Buffer Pool 之后才可以访 问。
本文简要介绍了基于强化学习的码率自适应算法，在实践预研验证和分析的基础上，将该AI算法模型应用于实际项目。
DPU卸载/加速, 或AI云中, 大量使用的RDMA技术中, 比较重要的操作当属于DMA, 不管是e810, e1000, mlx5等网卡驱动, 或是刚玉项目(Corundum: https://github.com/corundum/corundum)中, 都大量使用DMA, 今天咱们跟随大佬一起深入分析动态DMA映射原理及API
用kafka做存储层，为什么呢？一大堆可以做数据存储的 MySQL、MongoDB、HDFS……
这是 Innodb 引擎最重要的缓存，也是提升查询性能的重要手段。一般是global共享内存中占用最大的部分。在进行 SQL 读和写的操作时，首先并不是对物理数据文件操作，而是先对 buffer_pool 进行操作，然后再通过 checkpoint 等机制写回数据文件。占用的内存启动后就不会自动释放，默认通过LRU的算法镜像缓存淘汰，每次的新数据页，都会插入buffer pool的中间，防止前面的热数据被冲掉，长时间没动静的冷数据，会被淘汰出buffer pool，但是是被其它新数据占用了，所以一般这里不会释放的，除非重启（5.7 开始支持动态调整，默认以128M的chunk单位分配内存块）。innodb_buffer_pool主要包含数据页、索引页、undo 页、insert buffer、自适应哈希索引、锁信息以及数据字典等信息。
分享一篇关于实时流式计算的经典文章，这篇文章名为Streaming 101: The world beyond batch
最近工作中呢，频频用到消息中心，包括异步转同步的功能，分布式收集日志信息等功能，在面试中也常会问到候选人关于消息中心的知识点，但大多数程序员，尤其是工作两三年的，虽然平时工作中都有用到消息中心，但都总是不能够说明白其中的原理，于是觉得有必要把消息中心作为一个篇章，专门进行总结梳理一番~
sql gateway这个功能超级强大，支持多租户，协议插件化，兼容hive生态，以后flink流批作业都可以通过sql gateway提交到集群了。
表空间(Tablespace)：一个mysql实例，及一个数据库实例，可以对应多个表空间(ibd文件)，用于存储记录，索引等数据。
过去二十年，存储硬件的性能提升了两个数量级。首先，是SSD的出现；然后是计算机总线接口从SATA到PCIe的转变；最后在非易失性内存技术和制造工艺上的创新。就在2019年的4月份，Intel发布了首个商业化存储级内存产品（SCM）Optane DC Persistent Memory，它使用了3D XPoint技术，位于内存总线上，并且进一步降低了IO的时延。
缓冲区是所有 I/O 的基础，I/O 讲的无非就是把数据移进或移出缓冲区；进程执行 I/O
翻译自： Big data? 🤗 Datasets to the rescue! 如今，使用大GB的数据集并不罕见，特别是从头开始预训练像BERT或GPT-2这样的Tranformer模型。在这样的
在Innodb存储引擎中，后台线程的主要作用是负责刷新内存池中的数据，保证缓冲池中的内存缓存的是最近的数据。此外它会将已经修改的数据文件刷新到磁盘文件中，保证在发生异常的情况下，Innodb能够恢复到正常的运行状态。
事实上，如何感知网络环境的变化并作出合理的码率调整并非易事。目前很多视频播放的客户端都提供了几种码率档位（标清、高清、超清、蓝光等）供用户自主选择，在网络环境好时用户可以自主切到高码率档位，网络环境差时切到低码率档位。
🧑个人简介：大家好，我是 shark-Gao，一个想要与大家共同进步的男人😉😉
Redis 利用了多路 I/O 复用机制，处理客户端请求时，不会阻塞主线程；Redis 单纯执行（大多数指令）一个指令不到 1 微秒，如此，单核 CPU 一秒就能处理 1 百万个指令（大概对应着几十万个请求吧），用不着实现多线程（网络才是瓶颈）。
大家好，我是Hulu北京的傅徳良，主要负责音视频编解码和视频传输相关优化的团队。非常高兴在这里给大家分享一些Hulu 在流媒体服务质量和用户体验优化方面的经验。由于Hulu是一家美国公司，所以使用的技术路线跟国内常见的技术路线并不完全相同，从技术上讲，不存在谁更先进或者优秀的说法。不过既然是不同的技术路线，那么Hulu也就可能会做一些国内厂商目前还没有太多投入去做的一些事情。今天，主要跟大家分享一下Hulu在QoS优化中的思路、在实践中遇到的问题以及解决方案。首先简单介绍一下Hulu的视频系统以及为什么要做QoS优化？其次会分享对QoS优化和用户体验之间关系的基本理解，最后结合Hulu的技术实践介绍在客户端通过自适应码率调解的方法优化QoS的基本思路和原理，以及构建的一整套QoS优化框架。
最近很多从事移动互联网和物联网开发的同学给我发邮件或者微博私信我，咨询推送服务相关的问题。问题五花八门，在帮助大家答疑解惑的过程中，我也对问题进行了总结，大概可以归纳为如下几类：
一．引言 1关于本次话题 最近很多从事移动互联网和物联网开发的同学给我发邮件或者微博私信我，咨询推送服务相关的问题。问题五花八门，在帮助大家答疑解惑的过程中，我也对问题进行了总结，大概可以归纳为如下几类： Netty是否可以做推送服务器？ 如果使用Netty开发推送服务，一个服务器最多可以支撑多少个客户端？ 使用Netty开发推送服务遇到的各种技术问题。 由于咨询者众多，关注点也比较集中，我希望通过本文的案例分析和对推送服务设计要点的总结，帮助大家在实际工作中少走弯路。 2关于推送服务 移
我们都知道，数据库是用于存取数据的。然而，存取数据会涉及到磁盘I/O的读写操作，这使得I/O读写成为数据库系统的主要性能瓶颈。为了解决这个问题，MySQL数据库采用了许多内存管理技术来优化数据库操作，包括内存优化查询、排序以及写入操作。
鉴于公共云中广泛采用存算分离架构（Disaggregated Storage），网络是云存储服务实现高性能和高可靠性的关键。在 Azure 云中，我们在存储前端流量（计算 VM 和存储集群之间）和后端流量（存储集群内）之间启用 RDMA（Remote Direct Memory Access）作为我们的传输层。由于计算集群和存储集群可能位于 Azure 云 region 内的不同 dc 中，因此我们需要在 region 范围内支持 RDMA。
分布式缓存架构 先看架构： 图一 用户通过访问http服务器，然后访问应用服务器资源，应用服务器
无论 kafka 作为 MQ 也好，作为存储层也罢，无非就是两个功能（好简单的样子），一是 Producer 生产的数据存到 broker，二是 Consumer 从 broker 读取数据。那 Kafka 的快也就体现在读写两个方面了，下面我们就聊聊 Kafka 快的原因。
NSDI 的全称是 Networked Systems Design and Implementation，是 USENIX 旗下的旗舰会议之一，也是计算机网络系统领域久负盛名的顶级会议。与网络领域的另一顶会 SIGCOMM 相比，NSDI 更加侧重于网络系统的设计与实现。
Spark是Scala语言实现的核心数据结构是RDD的基于内存迭代计算的分布式框架。
在线“看片”时，我们经常会遇到这些事情：视频画面突然卡住进入缓冲状态或者视频画面突然变得模糊而不忍直视。这些事情的背后很可能是网络环境突然变差了导致下载速度很慢，也可能是码率调整算法没有对当前环境做出合理的决策导致。 事实上，如何感知网络环境的变化并作出合理的码率调整并非易事。目前很多视频播放的客户端都提供了几种码率档位（标清、高清、超清、蓝光等）供用户自主选择，在网络环境好时用户可以自主切到高码率档位，网络环境差时切到低码率档位。 当然，有些主流的视频播放客户端也提供了自适应（自动）这个选项，比如Y
实际上，零拷贝是有广义和狭义之分，目前我们通常听到的零拷贝，包括上面这个定义减少不必要的拷贝次数都是广义上的零拷贝。其实了解到这点就足够了。
基于存储的硬件设备操控的是固定大小的数据块儿，用户请求的是任意大小的或非对齐的数据块儿。
获取PG服务产生的所有IO情况历来都是一个挑战。首先，PG将IO行为范围内为写WAL和读写数据目录(也就是数据文件)。真正的挑战是：理解围绕写入的二阶效应：通常数据的写入发生在事务提交后，即异步刷写，这就对理解哪个进程实际写入数据目录（以及何时）带来困难。
内存结构主要包括 Buffer Pool、Change Buffer、Adaptive Hash Index和 Log Buffer 四大组件
Automatic Shared Memory Management(ASMM)是ORACLE10g另外一个自动管理的功能。[@more@]
http://www.searchdoc.cn/rdbms/mysql/dev.mysql.com/doc/refman/5.7/en/index.com.coder114.cn.html
主要配置参数转载自： http://www.linuxyw.com/a/shujuku/20130506/216.html
领取专属 10元无门槛券
手把手带您无忧上云
