Linux 存在众多 tracing tools，比如 ftrace、perf，他们可用于内核的调试、提高内核的可观测性。众多的工具也意味着繁杂的概念，诸如 tracepoint、trace events、kprobe、eBPF 等，甚至让人搞不清楚他们到底是干什么的。本文尝试理清这些概念。
本文主要用于演示基于 ebpf 技术来实现对于系统调用跟踪和特定条件过滤，实现基于 BCC[1] 的 Python 前端绑定，过程中对于代码的实现进行了详细的解释，可以作为学习 ebpf 技术解决实际问题的参考样例。
我们可以使用BPF对Linux内核进行跟踪，收集我们想要的内核数据，从而对Linux中的程序进行分析和调试。与其它的跟踪技术相比，使用BPF的主要优点是几乎可以访问Linux内核和应用程序的任何信息，同时，BPF对系统性能影响很小，执行效率很高，而且开发人员不需要因为收集数据而修改程序。
当中断被关闭（俗称关中断)了，CPU就不能响应其他的事件，如果这时有一个鼠标中断，要在下一次开中断时才能响应这个鼠标中断，这段延迟称为中断延迟。向current_tracer 文件写入 irqsoff字符串即可打开irqsoff来跟踪中断延迟。
“eBPF 是我见过的 Linux 中最神奇的技术，没有之一，已成为 Linux 内核中顶级子模块，从 tcpdump 中用作网络包过滤的经典 cbpf，到成为通用 Linux 内核技术的 eBPF，已经完成华丽蜕变，为应用与神奇的内核打造了一座桥梁，在系统跟踪、观测、性能调优、安全和网络等领域发挥重要的角色。为 Service Mesh 打造了具备 API 感知和安全高效的容器网络方案 Cilium，其底层正是基于 eBPF 技术”
不必太纠结于当下，也不必太忧虑未来，当你经历过一些事情的时候，眼前的风景已经和从前不一样了。——村上春树
谢欢，大家可以叫我Jeff, 我目前就职于某国际知名linux发行版开源公司， 热衷于linux内核。我平时把linux内核源码当小说一样阅读学习，也一直把能给linux社区贡献更多有质量的代码而努力。
当碰到内核线程的资源使用异常时，很多常用的进程级性能工具，并不能直接用到内核线程上。这时，我们就可以使用内核自带的 perf 来观察它们的行为，找出热点函数，进一步定位性能瓶颈。不过，perf 产生的汇总报告并不直观，所以我通常也推荐用火焰图来协助排查。
在Linux中，主要是通过fork的方式产生新的进程，我们都知道每个进程都在 内核对应一个PCB块，内核通过对PCB块的操作做到对进程的管理。在Linux内核中，PCB对应着的结构体就是task_struct，也就是所谓的进程描述符（process descriptor）。该数据结构中包含了程相关的所有信息，比如包含众多描述进程属性的字段，以及指向其他与进程相关的结构体的指针。因此，进程描述符内部是比较复杂的。这个结构体的声明位于include/linux/sched.h中。
前言：最近在探索 Node.js 调试和诊断方向的内容，因为 Node.js 提供的能力有时候可能无法解决问题，比如堆内存没有变化，但是 rss 一直上涨。所以需要深入一点去了解更多的排查问题方式。而这些方向往往都涉及到底层的东西，所以就自然需要去了解内核提供的一些技术，内核提供的能力，经过多年的发展，可谓是百花齐放，而且非常复杂。本文简单分享一下内核的静态追踪技术的实现。追踪，其实就是收集代码在执行时的一些信息，以便协助排查问题。
最近遇到 i2c 传输慢的问题，正常一笔 i2c 传输 52 bytes 应该在 1ms 内返回，但是偶尔出现 6 ~ 7ms 才返回，不满足要求，因此研究一下 ftrace 工具，分析 i2c 传输到底慢在哪里。怀疑：
在上一篇文章《eBPF动手实践系列二：构建基于纯C语言的eBPF项目》中，我们初步实现了脱离内核源码进行纯C语言eBPF项目的构建。libbpf库在早期和内核源码结合的比较紧密，如今的libbpf库更加成熟，已经完全脱离内核源码独立发展。
在日常分析外部软件时，遇到的反调试/反注入防护已经越来越多，之前使用的基于 frida 的轻量级沙盒已经无法满足这类攻防水位的需要，因此需要有一种更加深入且通用的方式来对 APP 进行全面的监测和绕过。本文即为对这类方案的一些探索和实践。
eBPF (Extended Berkeley Packet Filter) 是 Linux 内核上的一个强大的网络和性能分析工具。它允许开发者在内核运行时动态加载、更新和运行用户定义的代码。
几乎所有编程接口都可见于：内核源代码的include/uapi/linux/bpf.h文件中
BCC是一个用于跟踪内核和操作程序的工具集，其软件包中包含了一些有用的工具和例子，它扩展了BPF(Berkeley Packet Filters)，通常被称为eBPF , 在Linux3.15中首次引入，但大多数BCC的功能需要Libux4.1及以上版本。
Linux perf（性能剖析器）是一个功能强大的性能分析工具，用于帮助开发人员诊断、调优和监控 Linux 系统及应用程序的性能问题。它实现了基于硬件性能计数器（hardware performance counters），追踪点和软件测量等多种数据收集手段，以便分析系统中各种现象。perf 工具集成在 Linux 内核中，主要通过 perf_event 子系统实现。
Tcpdump 是Linux 平台常用的网络数据包抓取及分析工具，tcpdump 主要通过libpcap 实现，而libpcap 就是基于eBPF。
在本篇博客中，我们将深入探讨eBPF（Extended Berkeley Packet Filter）的基本框架和开发流程。eBPF是一种在Linux内核上运行的强大网络和性能分析工具，它为开发者提供了在内核运行时动态加载、更新和运行用户定义代码的能力。这使得开发者可以实现高效、安全的内核级别的网络监控、性能分析和故障排查等功能。
按照strace官网的描述, strace是一个可用于诊断、调试和教学的Linux用户空间跟踪器。我们用它来监控用户空间进程和内核的交互，比如系统调用、信号传递、进程状态变更等。
将 eBPF 程序附加到跟踪点以及内核和用户应用探针点的能力，使得应用程序和系统本身的运行时行为具有前所未有的可见性。通过赋予应用程序和系统两方面的检测能力，可以将两种视图结合起来，从而获得强大而独特的洞察力来排除系统性能问题。
内核的各个子系统已经有大量的跟踪点，如果这些跟踪点无法满足工作中的需求，可以自己手动添加跟踪点。
通过使用一个名为 ftrace 的机制来阐明追踪内核函数的一些情况。它使得任何 Linux 用户可以轻松地追踪内核，并且了解更多关于 Linux 内核内部如何工作。
p[:[GRP/]EVENT] PATH:OFFSET [FETCHARGS] : Set a uprobe r[:[GRP/]EVENT] PATH:OFFSET [FETCHARGS] : Set a return uprobe (uretprobe)
Perfetto是用于性能检测和跟踪分析的生产级开源堆栈。它提供用于记录系统级和应用程序级跟踪的服务和库，本机Java堆分析，使用SQL分析跟踪的库以及基于Web的UI以可视化的系统性能分析。在Android上，Perfetto是下一代系统性能的分析工具，它取代了systrace。 仍完全支持SYSTRACE.
笔者在很早之前就看eBPF这类似的文章，那时候看这个技术一脸懵逼，不知道它是用来做什么，可以解决什么问题。所以也没有太关注这个技术。很庆幸最近刚好有机会研究这个技术。
dump_stack是用来回溯内核运行的信息的，打印内核信息堆栈段； dump_stack原型： void dump_stack(void); 1、使用这个功能时需要将内核配置勾选上； make menuconfig -> kernel hacking--> kernel debug 2、在函数中使用： 1 #include <linux/module.h> 2 #include <linux/init.h> 3 #include <linux/kprobes.h> 4 #include <asm/
操作系统内核对应用开发工程师来说就像一个黑盒，似乎很难窥探到其内部的运行机制。其实Linux内核很早就内置了一个强大的tracing工具：Ftrace，它几乎可以跟踪内核的所有函数，不仅可以用于调试和分析，还可以用于观察学习Linux内核的内部运行。虽然Ftrace在2008年就加入了内核，但很多应用开发工程师仍然不知道它的存在。本文就给你介绍一下Ftrace的基本使用。
BPF通过一种软件定义的方式，将内核的行为和数据暴露给用户空间，开发者可以通过在用户空间编写BPF程序，加载到内核空间执行，进而实现对内核行为的灵活管理和控制
内核维护着各种统计信息，被称为Counters，用于对事件进行计数。例如，接收的网络数据包数量，发出的磁盘I/O请求，执行的系统调用次数。常见的这类工具有：
Ftrace设计作为一个内部的tracer提供给系统的开发者和设计者，帮助他们弄清kernel正在发生的行为，它能够调式分析延迟和性能问题。对于前一章节，我们学习了Ftrace发展到现在已经不仅仅是作为一个function tracer了，它实际上成为了一个通用的trace工具的框架
Ringbuffer是trace32框架的一个基础，所有的trace原始数据都是通过Ring Buffer记录的，其主要有以下几个作用：
进程在内核态运行时需要自己的堆栈信息，linux内核为每个进程都提供了一个内核栈。对每个进程，Linux内核都把两个不同的数据结构紧凑的存放在一个单独为进程分配的内存区域中：
trace是内核自带的工具，相比于perf工具，trace只管抓trace数据并没有分析，perf在trace数据分析方面做出了很多成果。 但是我们现在就想看一下底层多调用关系，所以使用trace抓一下数据是非常有必要的，还可以分析一下驱动性能。
描述:官方介绍 strace是一个可用于诊断、调试和教学的Linux用户空间跟踪器。我们用它来监控用户空间进程和内核的交互，比如系统调用、信号传递、进程状态变更等。其底层的实现方式是基于ptrace特性;
近两年BPF技术跃然成为了一项热门技术，在刚刚结束的KubeCon 2020 Europe会议上有7个关于BPF的技术分享， 而在KubeCon 2020 China会议上也已有了3个关于BPF技术的中文分享，分别来自腾讯和PingCAP，涉足网络优化和系统追踪等领域。在中文社区里，包括阿里巴巴、网易、字节跳动等国内第一梯队IT公司也越来越关注BPF这项新技术。本文主要介绍BPF技术发展和应用，以及我是如何学习BPF技术的。
BPF是Berkeley Packet Filter（伯克利数据包过滤器）得缩写，诞生于1992年，其作用是提升网络包过滤工具得性能，并于2014年正式并入Linux内核主线。 BPF提供一种在各种内核事件和应用程序事件发生时允许运行一小段程序的机制，使得内核完全可编程，允许用户定制和控制他们的系统以解决相应的问题。 BPF是一项灵活而高效的技术，由指令集、存储对象和辅助函数等几部分组成。其采用了虚拟指令集规范，运行时BPF模块提供两个执行机制：解释器和即时编译器（JIT）。在实际执行前，BPF指令必须通过验证器（verifer）的安全性检查以确保BPF程序自身不会崩溃或者损坏内核。 扩展后的BPF通常缩写为eBPF，但是官方的说法仍然是BPF，并且内核中也只有一个执行引擎即BPF（扩展后的BPF）。
内核采用“插桩”的方法抓取log，“插桩”也称为Tracepoint，Tracepoint是Linux内核预先定义的静态探测点，它分布于内核的各个子系统中，每种Tracepoint有一个name、一个enable开关、一系列桩函数、注册桩函数的函数、卸载桩函数的函数。“桩函数”功能类似于printk，不过“桩函数”并不会把信息打印到console，而是输出到内核的ring buffer（环形缓冲区），缓冲区中的信息通过debugfs对用户呈现。每个tracepoint提供一个钩子来调用probe函数。一个tracepoint可以打开或关闭。打开时，probe函数关联到tracepoint；关闭时，probe函数不关联到tracepoint。tracepoint关闭时对kernel产生的影响很小，只是增加了极少的时间开销(一个分支条件判断)，极小的空间开销(一条函数调用语句和几个数据结构)。只有挂载了钩子函数才会真正启用trace功能。这个钩子函数可以由开发者编写内核module来实现，并且需要在钩子函数中获取我们调试所需要的信息并导出到用户态，这样就可以获取内核运行时的信息了。当一个tracepoint打开时，用户提供的probe函数在每次这个tracepoint执行都会被调用。
本章的我们来学习uprobe ，顾名思义，相对于内核函数/地址的监控，主要用于用户态函数/地址的监控。听起来是不是有点神奇，内核怎么监控用户态函数的调用呢？本章的内容包括：
文章涉及的实验环境和代码可以到这个git repo获取： https://github.com/nevermosby/linux-bpf-learning
BPF是最近Linux内核领域热门的技术。传统的BPF指的是tcpdump命令用于过滤网络包的工具，现在BPF已经得到极大的扩展，不再是Berkeley Packet Filter的缩写对应的简单的网络包过滤工具。 从Kernel 4.9之后，BPF已经成为一个完善的内核扩展工具，BPF在内核里运行一个sandbox，用于执行BPF的字节码（bytecode）， 在执行BPF程序前，BPF的检查器会对BPF程序的字节码进行安全检查（比如，指针要先判断不为空后再访问，代码里不能有循环，等等），以保证BPF程序不会导致系统崩溃，因为BPF程序执行时是在内核态。 因此，BPF可以很安全地在内核态执行用户编写的程序，而且有安全保证，这比编写内核模块安全太多了。 正是因为BPF能保证安全，并运行在内核态，可以大大简化很多以前很复杂的事情，目前BPF已经应用于性能分析、网络、安全、驱动、区块链等等领域。
bpftrace 是 Linux 高级追踪工具和语言。该工具基于 eBPF 和 BBC 实现了通过探针机制采集内核和程序运行的信息，然后用图表等方式将信息展示出来，帮助开发者找到隐藏较深的 Bug、安全问题和性能瓶颈。github主页介绍如下：
本文不会介绍eBPF和bcc的由来和历史，而是会基于bcc文档中的例子来介绍与学习ebpf和bcc。
前几天发现买的vps，qos限制非常严重，速度非常慢，但是偶然发现ssh的22端口竟然是没有限制的， 那就得想办法让流量走22端口了，
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
