Linux 存在众多 tracing tools，比如 ftrace、perf，他们可用于内核的调试、提高内核的可观测性。众多的工具也意味着繁杂的概念，诸如 tracepoint、trace events、kprobe、eBPF 等，甚至让人搞不清楚他们到底是干什么的。本文尝试理清这些概念。
perf 是由 Linux 官方提供的系统性能分析工具 。我们通常说的 perf 实际上包含两部分：
有小伙伴反馈在其实验室环境中， 通过sysbench工具测试，虚拟机上的内存性能指标只有其物理机的一半左右：
JOIN 一直是数据库性能优化的老大难问题，本来挺快的查询，一旦涉及了几个 JOIN，性能就会陡降。而且，参与 JOIN 的表越大越多，性能就越难提上来。
存储器的基础知识 首先，一般的存储器我们就会认为它包含着三部分： 寄存器 速度最快，但是造价高 主存储器 速度次之，被通俗称为内存 外存 速度最慢，用于存储文件数据，因为上边两种一旦断电，数据就会丢失。这个用来做持久化存储的。 因此，我们的存储器往往是使用三层结构的。 程序的装入和链接 在操作系统的角度而言，我们面对存储器就是面对程序的装入和连接 一般地，用户程序向要在系统上运行，就要经历下面几个步骤： 编译：对用户源程序进行遍历，形成若干个目标模块 链接：将目标模块以及他们所需要的库函数链接在一起，形成完
程序执行时所需要的指令和数据必须在内存中才能够运行。最简单的就是静态装入：将程序运行所需要的指令和数据全都装入内存中。当程序所需要内存大于物理内存时，无法满足静态装入的要求，这个时候就需要使用动态装入了，其思想是将程序运行时当前不用的模块放在磁盘，使用的模块放在内存。
是一组控制和管理计算机硬件和软件资源，合理对各类作业进行调度，以及方便用户使用的程序集合。
学妹刚上大学，问我计算机内存知识需要了解么？我当场就是傻瓜警告，于是就有了这篇文章。
内存管理是操作系统设计中最重要和最复杂的内容之一，虽然 计算机硬件一直在飞速发展，内存 容量也在 不断增长，但是仍然不可能将用户进程所需要的全部程序和数据放入主存中，所以操作系统必须将内存空间进行合理地划分和有效地动态分配。操作系统对内存的划分和动态分配就是内存管理的概念。 有效的内存管理在多道程序设计中非常重要，不仅方便用户使用存储器，提高内存利用率，还可以通过虚拟技术从逻辑上扩充存储器。 内存管理的功能有： - 内存空间的分配与回收。由操作系统完成主存储器空间的分配和管理，使程序员摆脱存储分配的麻烦，提高编程效率。 - 地址转换，在多道程序环境下，程序中的逻辑地址与内存中的物理不可能一致，因此存储管理必须提供地址变换功能，把逻辑地址转换成相应的物理地址。 - 内存空间的扩充：利用虚拟存储技术或自动覆盖技术，从逻辑上扩充内存。 - 存储保护：保证各道作业在各自的存储空间内运行，互不干扰。
在容器逃逸技术概览一文中我们提到，由于容器与宿主机共享内核，内核漏洞成为容器逃逸的四大原因之一。由于潜在后果的严重性（提升至系统最高权限）和影响的广泛性（一个漏洞会影响相当多的计算机设备），系统开发者陆续在内核实现了一系列的漏洞缓解技术，以减小内核被攻破的可能性。
在多道程序环境下，要使程序运行，必须先为之创建进程。而创建进程的第一件事，便是将程序和数据装入内存。如何将一个用户源程序变为一个可在内存中执行的程序，通常都要经过以下几个步骤：
JOIN 一直是数据库性能优化的老大难问题，本来挺快的查询，一旦涉及了几个 JOIN，性能就会陡降。而且，参与 JOIN 的表越大越多，性能就越难提上来。 其实，让 JOIN 跑得快的关键是要对 JOIN 分类，分类之后，就能利用各种类型 JOIN 的特征来做性能优化了。 JOIN 分类 有 SQL 开发经验的同学都知道，绝大多数 JOIN 都是等值 JOIN，也就是关联条件为等式的 JOIN。非等值 JOIN 要少见得多，而且多数情况也可以转换成等值 JOIN 来处理，所以我们可以只讨论等值 JOIN。
②当大量作业要求运行时，由于内存不足以容纳所有作业，只能使少数作业先运行，导致多道程序度的下降。
大家好，我是程栩，一个专注于性能的大厂程序员，分享包括但不限于计算机体系结构、性能优化、云原生的知识。
动态链接与静态链接的区别 静态链接库、动态链接库、导入库的区别 Linux下的静态库、动态库和动态加载库 ---- 总结：并没有找到动态链接与动态加载的明显区别，但动态链接与静态链接的区别是明显的： 一个是编译时就链接进可执行文件，一个是执行时才链接。 ---- 静态重定位 重定位时，取重定位项，加上重定位因子得到欲修改位置的实际地址。 优点：无须硬件支持 缺点：程序重定位以后就不能在内存中移动。要求程序的存储空间是连续的，不能把程序存储到若干个不连续的区域中。 动态重定位 当CPU取一条访问内存的
在实际运行过程，把有关作业的全部信息都装入主存储器后，作业执行时实际上不是同时使用全部信息的，有些部分运行一遍便再也不用,甚至有些部分在作业执行的整个过程中都不会被使用到(如错误处理部分)。进程在运行时不用的，或暂时不用的，或某种条件下才用的程序和数据,全部驻留于内存中是对宝贵的主存资源的一种浪费，大大降低了主存利用率。 于是，提出了这样的问题：作业提交时，先全部进入辅助存储器,作业投入运行时,能否不把作业的全部信息同时装入主存储器，而是将其中当前使用部分先装入主存储器，其余暂时不用的部分先存放在作为主存扩充的辅助存储器中，待用到这些信息时，再由系统自动把它们装入到主存储器中,这就是虚拟存储器的基本思路。
在执行一个PE文件的时候，windows 并不在一开始就将整个文件读入内存的，二十采用与内存映射文件类似的机制。 也就是说，windows 装载器在装载的时候仅仅建立好虚拟地址和PE文件之间的映射关系。 当且仅当真正执行到某个内存页中的指令或者访问某一页中的数据时，这个页面才会被从磁盘提交到物理内存，这种机制使文件装入的速度和文件大小没有太大的关系。
从第 11 篇笔记开始进入第二章节，也就是存储器管理的相关知识。下面是本篇笔记的思维导图：
本教程将指导您使用 libbpf 和 eBPF 程序进行性能分析。我们将利用内核中的 perf 机制，学习如何捕获函数的执行时间以及如何查看性能数据。
程序到运行主要经过程序（外存）编译，链接，装入(内存)。《程序如何运行：编译、链接、装》:
－计算机系统中存储器一般分为内存储器和辅助存储器两级 －内存可以分成系统区和用户区两部分，系统区用来存储操作系统等系统软件，用户区用于分配给用户作业使用
内存管理 包括内存管理和虚拟内存管理 内存管理包括内存管理概念、交换与覆盖、连续分配管理方式和非连续分配管理方式（分页管理方式、分段管理方式、段页式管理方式）。 虚拟内存管理包括虚拟内存概念、请求分页管理方式、页面置换算法、页面分配策略、工作集和抖动。 3.1 内存管理的概念 内存管理(Memory Management)是操作系统设计中最重要和最复杂的内容之一。虽然计算机硬件一直在飞速发展，内存容量也在不断增长，但是仍然不可能将所有用户进程和系统所需要的全部程序和数据放入主存中，所以操作系统必须将内存空间
正式开始今天的分享。我们的应用程序都是运行在各种语言的运行时、操作系统内核、以及 CPU 等硬件之上的。大家平时一般都是使用Go、Java等语言进行开发。但这些语言的下面是由运行时、内核、硬件等多层支撑起来的。
本文记录了一些操作系统面试常见问题，本意用于考研复试，以下面试题为网上整理的问题以及自己加入的一些问题，答案仅供参考！
内核模块是Linux操作系统中一个比较独特的机制。通过这一章学习，希望能够理解Linux提出内核模块这个机制的意义；理解并掌握Linux实现内核模块机制的基本技术路线；运用Linux提供的工具和命令，掌握操作内核模块的方法。
而 CPU 使用率，是单位时间内 CPU 繁忙情况的统计，跟平均负载并不一定完全对应。比如：
一种是固定的、静态的连接，就是把需要用到的库函数的目标代码（二进制）代码从程序库中抽取出来，链接进应用软件的目标映像中；
在存储器里以字节为单位存储信息，为正确地存放或取得信息，每一个字节单元给以一个唯一的存储器地址，称为物理地址（Physical Address），又叫实际地址或绝对地址。
在Java中有两种对象：Class对象和实例对象，实例对象是类的实例，通常是通过new关键字构建的。Class对象是JVM生成用来保存对象的类的信息的。Java程序执行之前需要经过编译、加载、链接和初始化这几个阶段，编译阶段会将源码文件编译为.class字节码文件，编译器同时会在.class文件中生成Class对象，加载阶段通过JVM内部的类加载机制，将Class对象加载到内存中。在创建对象实例之前，JVM会先检查Class对象是否在内存中存在，如果不存在，则加载Class对象，然后再创建对象实例，如果存在，则直接根据Class对象创建对象实例。JVM中只有一个Class对象，但可以根据Class对象生成多个对象实例。
现代操作系统都采用的是逻辑地址，即我们在程序中定义的地址都是逻辑上的并不是真正的物理地址，原因是因为在多道程序中是不能确定到程序运行后的物理地址的，有可能被其他程序占用，有可能会动态的改变其地址，例如物理地址在02位置，当01位置的数据变大后导致数据02的空间需要被占用，此时物理地址会发生变化。逻辑地址可以让每个进程自己的地址都是连续的即在逻辑上是连续的。
内存管理主要包括虚地址、地址变换、内存分配和回收、内存扩充、内存共享和保护等功能。
现居珠海，先后担任专职 Oracle 和 MySQL DBA，现在主要负责 MySQL、mongoDB 和 Redis 维护工作。
roc，腾讯高级工程师，Kubernetes Contributor，热爱开源，专注云原生领域。目前主要负责腾讯云TKE 的售中、售后的技术支持，根据客户需求输出合理技术方案与最佳实践，为客户业务保驾护航。
roc，腾讯高级工程师，Kubernetes Contributor，热爱开源，专注云原生领域。目前主要负责腾讯云TKE 的售中、售后的技术支持，根据客户需求输出合理技术方案与最佳实践，为客户业务保驾护航。 概述 MySQL 是常用的关系型数据库，MariaDB 作为 MySQL 的分支版本，兼容 MySQL 协议，也越来越流行。在 Kubernetes 环境中如何使用 Prometheus 来对它们进行监控呢？通常是借助开源的 mysqld-exporter 来实现，本文将围绕这个主题展开详细介绍下。
在 Linux 系统中，采用了虚拟内存管理技术，事实上大多数现在操作系统都是如此！在 Linux 系统中，每一个进程都在自己独立的地址空间中运行，在 32 位系统中，每个进程的逻辑地址空间均为 4GB，这 4GB 的内存空间按照 3:1 的比例进行分配，其中用户进程享有 3G 的空间，而内核独自享有剩下的 1G 空间，如下所示：
perf是linux上的性能分析工具，perf可以对event进行统计得到event的发生次数，或者对event进行采样，得到每次event发生时的相关数据(cpu、进程id、运行栈等)，利用这些数据来对程序性能进行分析。
在程序运行中，在不同时刻把同一个存储区分配给不同程序段和数据段，实现存储区共享。适用于连续存储（单一连续区分配，分区）
来自社区用户的吐槽：向量化导入太慢了啊，我测试了xx数据库，比Doris快不少啊。有招吗？
前言：perf_hooks 是 Node.js 中用于收集性能数据的模块，Node.js 本身基于 perf_hooks 提供了性能数据，同时也提供了机制给用户上报性能数据。文本介绍一下 perk_hooks。
23号打0ctf 看了misc perf.data 看了4,5个小时没做出来，太恐怖了 0ops大佬tql,一次一次被虐到自闭了233333 到网上搜的国外大佬的wp学习一下下
eBPF (扩展的伯克利数据包过滤器) 是一项强大的网络和性能分析工具，被广泛应用在 Linux 内核上。eBPF 使得开发者能够动态地加载、更新和运行用户定义的代码，而无需重启内核或更改内核源代码。这个特性使得 eBPF 能够提供极高的灵活性和性能，使其在网络和系统性能分析方面具有广泛的应用。此外，eBPF 还支持使用 USDT (用户级静态定义跟踪点) 捕获用户态的应用程序行为。
操作系统，包括嵌入式系统，通常利用存储管理单元MMU（Memory Management Unit）来提供内存保护机制，实现系统内核与应用程序，应用程序与应用程序之间的隔离。
数据库管理系统必须保证被强行终止的事务对数据库和其他事务没有任何影响 ——恢复机制
之前一个老板说“xxx组的同学是一定要把eBPF用到得心应手”，因为之前是做性能压测相关工作，个人感觉压测其实并不复杂，复杂的是压测后的问题定位，而eBPF则是定位问题的有效工具，我们可以透过eBPF去洞悉内核的运行状态，帮助我们去做故障诊断、网络优化、性能监控、以及安全控制等生产环境中的各种问题。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
