InnoDB 存储引擎是以数据页为单位来管理存储空间的。InnoDB 存储引擎在处理客户端的请求时，当需要访问某个数据页的数据时，就会把完整的数据页的数据全部加载到内存中，也就是说即使我们只需要访问一个数据页的一条记录，那也需要先把整个数据页的数据加载到内存中。将整个数据页加载到内存中后就可以进行读写访问了，在进行完读写访问之后并不着急把该数据页对应的内存空间释放掉，而是将其缓存起来，这样将来有请求再次访问该页面时，就可以省去磁盘 IO 的开销了。这个缓存就称之为Buffer Pool。
什么是零拷贝 维基上是这么描述零拷贝的：零拷贝描述的是CPU不执行拷贝数据从一个存储区域到另一个存储区域的任务，这通常用于通过网络传输一个文件时以减少CPU周期和内存带宽。 零拷贝给我们带来的好处： 减少甚至完全避免不必要的CPU拷贝，从而让CPU解脱出来去执行其他的任务 减少内存带宽的占用 通常零拷贝技术还能够减少用户空间和操作系统内核空间之间的上下文切换 Linux系统的“用户空间”和“内核空间” 从Linux系统上看，除了引导系统的BIN区，整个内存空间主要被分成两个部分：内核空间(Ke
Redis 的缓存淘汰算法则是通过实现 LFU 算法来避免「缓存污染」而导致缓存命中率下降的问题（Redis 没有预读机制）。
在password技术中，随机序列是非常重要的，比方密钥产生、数字签名、身份认证和众多的password学协议等都要用到随机序列。所以产生高质量的随机数序列对信息的安全性具有十分关键的数据。随机数分为真随机数和伪随机数，计算机通过算法产生的随机数并不上真正意义上的随机数，非常easy被激活成功教程，仅仅能称为伪随机数。若要产生真正的随机数，必须通过硬件来实现，比方使用离子辐射事件的脉冲检測器、气体放电管和带泄露的电容等，可是为每台计算机配备这种装置上不可能。所以在此我们通过改进我们的算法，使生成的伪随机数达到真随机数的标准。
磁盘可以说是计算机系统最慢的硬件之一，读写速度相差内存 10 倍以上，所以针对优化磁盘的技术非常的多，比如零拷贝、直接 I/O、异步 I/O 等等，这些优化的目的就是为了提高系统的吞吐量，另外操作系统内核中的磁盘高速缓存区，可以有效的减少磁盘的访问次数。
维持了 20 天的复赛终于告一段落了，国际惯例先说结果，复赛结果不太理想，一度从第 10 名掉到了最后的第 36 名，主要是写入的优化卡了 5 天，一直没有进展，最终排名也是定格在了排行榜的第二页。痛定思痛，这篇文章将自己复赛中学习的知识，成功的优化，未成功的优化都罗列一下。
应用系统分层架构，为了加速数据访问，会把最常访问的数据，放在缓存(cache)里，避免每次都去访问数据库。 操作系统，会有缓冲池(buffer pool)机制，避免每次访问磁盘，以加速数据的访问。 MySQL作为一个存储系统，同样具有缓冲池(buffer pool)机制，以避免每次查询数据都进行磁盘IO。 今天，和大家聊一聊InnoDB的缓冲池。 InnoDB的缓冲池缓存什么？有什么用？ 缓存表数据与索引数据，把磁盘上的数据加载到缓冲池，避免每次访问都进行磁盘IO，起到加速访问的作用。 速度快，那为啥不把
Linux的文件IO子系统是Linux中最复杂的一个子系统（没有之一）。读者可以参考以下这个图：
线上某个kafka集群由于种种原因，从 24 * 机型 A 置换迁移为 12 * 机型 B。从集群总资源维度看，排除其他客观因素，置换后，CPU总核数少了一半，使用率上升其实也是预期之内的。事实上置换后，集群CPU使用率确实也由原有的 20%提升至 40%，上升了约 1 倍多。但置换后，cpu sys使用率均值约达到了 12%，较为抢眼，系统相关服务却并无异常，令人有些困惑。
今天要讲的是POSTGRESQL I/O系统的及周边一些系统的学习sharing .
I/O问题一般不会被大多数人关注，因为大多数开发都是在做“业务”，也就是在搞计算节点的事情，通常遇到的I/O问题，也就是日志打的有点多了，磁盘写起来有点吃力，所以iowait这个指标，关注的人也不多。
BumbleBee简化了构建和运行分布式eBPF程序的过程，将其封装到OCI镜像并发布到符合OCI标准的仓库中。
针对海量的网络流量，转发性能是我们最关键的一个方面，那构建高性能的后台服务器有哪些关键的技术和需要注意的地方。
假设我们一共访问了n次页，那么被访问的页已经在Buffer Pool中的次数除以n，那么就是Buffer Pool的缓冲命中率。
磁盘读写，并不是按需读取，而是按页读取，一次至少读一页数据（一般是4K），如果未来要读取的数据就在页中，就能够省去后续的磁盘IO，提高效率。
传统IO的工作方式是，数据读取和写入是从用户空间和内核空间来回复制，内核空间的数据时通过操作系统层面的IO接口从磁盘读取或写入。
生产者发送消息有负载均衡。生产者发送消息时，会自动轮询当前所有可发送的broker，一条消息发送成功，下次换另外一个broker发送，以达到消息平均落到所有的broker上。
前一段时间研究了大规模日志流高吞吐并行存储，通过深入研究Kafka的底层存储机制。我们发现Kafka的Zero-Copy零拷贝技术采用的是Java底层FileTransferTo方法，后期我们尝试了对TransferTo性能及其并行性能进行测试。以及后面在Kafka上面实现了并行TransferTo方法，并应有到了Apache Kafka系统中。
这是mysql专栏的第四篇，上一个小节我们了解了如何通过flush list存储所有的脏页数据，这一节我们来继续介绍缓冲池的内部结构LRU链表。
对于innoDB存储引擎来说，数据是存储在磁盘上，而执行引擎想要操作数据，必须先将磁盘的数据加载到内存中才能操作。当数据从磁盘中取出后，缓存内存中，下次查询同样的数据的时候，直接从内存中读取，这样大大提高了查询性能。
我们聊到了Buffer Pool，很多朋友估计还是不是很了解，本文咱们就来聊聊。
针对海量的网络流量，转发性能是我们最关键的一个方面，那构建高性能的后台服务器有哪些关键的技术和需要注意的地方，今天邀请了后台开发同学童琳和郑胜利来和大家一起谈谈。 一、引言 随着互联网的高速发展，内容量的提升以及对内容智能的需求、云产业的快速突起，作为互联网的计算基石服务器的形态以及使用成为了炙手可热的话题，全球各家大型互联网公司都持续的在服务器平台上有非常大的动作，譬如facebook的OCP等，而整个服务器的生态链也得到了促进和发展。随着服务器硬件性能的提升和网络硬件的开放，传统PC机的处理性能甚者可
你在Rabbit有一个队列，然后一些消费者从这个队列中消费。如果你根本没有设置QoS（basic.qos），那么Rabbit会把所有的队列消息都按照网络和客户端允许的速度推送给客户端。消费者将会飞速增加它们的内存占用，因为它们将所有消息都缓存在自己的RAM中。如果您询问Rabbit，队列可能会显示为空，但会有大量在客户端中，正准备由客户端应用程序处理的消息未被确认。如果您添加新的消费者，则队列中不会有消息发送给新的消费者。即使有其他消费者可用于更快地处理这样的消息，它们也只是在现有的客户端缓存，并且可能在那
本文列举四个比较经典的 Linux 收包引擎，如果还有其他你觉得ok的可以留言。这四个分别是：
官方又称其具有高性能、高吞吐、低延时的特点，其吞吐量动辄几十上百万。小伙伴们是不是有点困惑了，一般认为在磁盘上读写数据是会降低性能的，因为寻址会比较消耗时间。那
导言 | 本文邀请到腾讯CSIG后台开发工程师kevineluo从文件传输场景以及零拷贝技术深究Linux I/O的发展过程、优化手段以及实际应用。I/O相关的各类优化已经深入到了日常开发者接触到的语言、中间件以及数据库的方方面面。通过了解和学习相关技术和思想，开发者能对日后自己的程序设计以及性能优化上有所启发。 前言 存储器是计算机的核心部件之一，在完全理想的状态下，存储器应该要同时具备以下三种特性：第一，速度足够快：存储器的存取速度应当快于CPU执行一条指令，这样CPU的效率才不会受限于存储器；第二，
作者：kevineluo，腾讯 CSIG 后台开发工程师 本文将从文件传输场景以及零拷贝技术深究 Linux I/O 的发展过程、优化手段以及实际应用。 前言 存储器是计算机的核心部件之一，在完全理想的状态下，存储器应该要同时具备以下三种特性： 速度足够快：存储器的存取速度应当快于 CPU 执行一条指令，这样 CPU 的效率才不会受限于存储器； 容量足够大：容量能够存储计算机所需的全部数据； 价格足够便宜：价格低廉，所有类型的计算机都能配备。 但是现实往往是残酷的，我们目前的计算机技术无法同时满足上述的三个
MySQL的InnoDb Buffer Pool 缓冲池是主内存中的一个区域，用来缓存InnoDB在访问表和索引时的数据。对于频繁使用的数据可以直接从内存中访问，从而加快处理速度。如果一台服务器专用作MySQL数据库使用时，通常将70%~80%（具体看总内存大小而定）的物理内存空间分配给缓冲池。
存储器是计算机的核心部件之一，在完全理想的状态下，存储器应该要同时具备以下三种特性：
这篇文章最开始投给我的时候，没有引起太多的重视，但是看了内容之后，真是被里面的细节吸引了。
Linux系统是虚拟内存系统，虚拟内存并不是真正的物理内存，而是虚拟的连续内存地址空间。虚拟内存又分为内核空间和用户空间，内核空间是内核程序运行的地方，用户空间是用户进程代码运行的地方，只有内核才能直接访问物理内存并为用户空间映射物理内存(MMU)。内核会为每个进程分配独立的连续的虚拟内存空间，并且在需要的时候映射物理内存，为了完成内存映射，内核为每个进程都维护了一张页表，记录虚拟地址与物理地址的映射关系，这个页表就是存在于MMU中；用户进程访问内存的时候，通过页表把虚拟内存地址转换为物理内存地址进而访问数据；其实对于用户进程而言，虚拟内存就是内存一般的存在(当作内存看待就好)。这样的设计可以把用户程序和系统程序分开，互不影响；内核可以对所有的用户程序进行管理，比如限制内存滥用等
其中基节点是一块单独申请的内存空间（约占40字节）。并不在Buffer Pool的那一大片连续内存空间里。
相对传统的基于内核的网络数据处理，dpdk 对从内核层到用户层的网络数据流程进行了重大突破，我们先看看传统的数据流程和 dpdk 中的网络流程有什么不同。
引言 传统的 Linux 操作系统的标准 I/O 接口是基于数据拷贝操作的，即 I/O 操作会导致数据在操作系统内核地址空间的缓冲区和应用程序地址空间定义的缓冲区之间进行传输。这样做最大的好处是可以减少磁盘 I/O 的操作，因为如果所请求的数据已经存放在操作系统的高速缓冲存储器中，那么就不需要再进行实际的物理磁盘 I/O 操作。但是数据传输过程中的数据拷贝操作却导致了极大的 CPU 开销，限制了操作系统有效进行数据传输操作的能力。 零拷贝（ zero-copy ）技术可以有效地改善数据传输的性能，在内核驱动程序（比如网络堆栈或者磁盘存储驱动程序）处理 I/O 数据的时候，零拷贝技术可以在某种程度上减少甚至完全避免不必要 CPU 数据拷贝操作。
PAG 4.1 版本新增支持微信小程序，新增支持多个常用 AE 特性，如图层样式-渐变叠加、蒙版-羽化和不透明度、 亮度轨道遮罩/亮度轨道反转遮罩等。经过 2 个多月 6 个版本的迭代，PAG 4.1 版本已经趋于稳定，目前广泛应用于 QQ、小红书等头部 APP，现正式发布，欢迎大家接入使用。 4.1 版本主要修改内容 平台支持 新增支持微信小程序，目前 PAG SDK 已完成覆盖 iOS、Android、macOS、Windows、Linux、Web 和微信小程序等常用平台。 AE 特性新增支持
今天的课程是关于期待已久的缓冲池的话题，其实就是 DBMS 如何管理它的内存并从磁盘来回移动数据，我们希望DBMS自己来管理这些内存与磁盘存储交换的操作，而不是把它留给操作系统。你可以从两个方面考虑数据库存储和内存管理问题：
接上篇，写这俩篇文章的起因主要是最近复习计网滑动窗口中看到的一句话 “窗口的本质是内核缓冲区”，之前一直没有仔细去理解，以为就是缓存，很多博客写得也是缓存......，But 缓冲和缓存在概念上其实是有区别的，上篇文章已经详细解释过了缓冲与缓存的区别，本文就来进一步介绍内核缓冲区
InnoDB的性能和自动崩溃恢复特性，使得它在非事务性存储的需求中也有广泛的应用。
mysql中的数据都在磁盘里，为了提高查询的性能，在mysql服务启动的时候向操作系统申请了一片连续的内存，也是是今天说的buffer pool，默认情况下是128MB。
本译文源自PANTHEON.tech公司技术博客文章《VPP 105: Memory Management & DPDK APIs》，在我们深入运用VPP的过程中，不免对其中涉及的各类技术与库——它们的实践应用、优势特性及对应API——产生诸多疑问。这篇针对性的文章恰好为我们详尽答疑，扫清困惑。很适合入门vpp的同学学习。如需查阅原文，欢迎直接点击文末阅读原文。
选自GitHub 作者：Facebook Research 机器之心编译 参与：黄小天、路雪 近日，Facebook 在题为《Voice Synthesis for in-the-Wild Speakers via a Phonological Loop》的论文中提出一个文本转语音（TTS）的新神经网络VoiceLoop，它能够把文本转化为在室外采样的声音中的语音。目前 VoiceLoop 已在 GitHub 上开源并附有 PyTorch 实现。机器之心对论文摘要进行了编译。论文与GitHub链接请见文中。
内存的关键指标包括内存大小，速度，较低的工作电压和更快的访问速度。DDR5支持8Gb至64Gb的内存，并结合了3200 MT / s至6400 MT / s的多种数据速率。DDR5的工作电压从DDR4的1.2V进一步降低到1.1V。
Buffer Pool主要分为3个部分：Buffer Pool、Change Buffer、Adaptive HashIndex，另外还有一个(redo) log buffer。
大概就是，进程写文件（使用缓冲 IO）过程中，写一半的时候，进程发生了崩溃，会丢失数据吗？
为了快速构建项目，使用高性能框架是我的职责，但若不去深究底层的细节会让我失去对技术的热爱。 探究的过程是痛苦并激动的，痛苦在于完全理解甚至要十天半月甚至没有机会去应用，激动在于技术的相同性，新的框架不再是我焦虑。 每一个底层细节的攻克，就越发觉得自己对计算机一无所知，这可能就是对知识的敬畏。
视频播放时的画面打开速度是播放体验中一个非常重要的指标，如果视频画面打开速度太慢，用户失去耐心可能就直接划走不看了。如果视频速度打开够快，甚至可以带来业务上的收益，字节跳动就曾给出过一份数据：对一部分型号的 Android 手机，播放首帧时长从平均 170ms 优化到 100ms，带来了 0.6% 左右的用户播放时长提升。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
