CPU 隔离：Nohz_full

SUSE Labs 团队探索了 Kernel CPU 隔离及其核心组件之一：Full Dynticks（或 Nohz Full），并撰写了本系列文章：

1. CPU 隔离 – 简介

2. CPU 隔离 – Full Dynticks 深探

3. CPU 隔离 – Nohz_full

4. CPU 隔离 – 管理和权衡

5. CPU 隔离 – 实践

本文是第三篇。

NOHZ_FULL

“nohz_full=” 内核引导参数是当前用于配置 full dynticks 和 CPU 隔离的主接口。

CPU 列表参数传给 nohz_full 的作用是定义一组要隔离的 CPU。例如，假设您有 8 个 CPU，希望隔离 CPU 4、5、6、7：

nohz_full=4-7

关于 cpu-list 参数格式请参考：https://www.kernel.org/doc/html/latest/admin-guide/kernel-parameters.html#cpu-lists。

nohz_full 的作用

当一个 CPU 包含在 nohz_full 引导参数的 CPU 列表中,内核会试图从那个 CPU 中排除尽可能多的内核干扰。本系列的第二篇文章已经从理论上解释了关闭计时器 Tick 的准备工作，这就是最终需要执行的操作：

定时器中断 

满足以下条件时，定时器可以停止：

• 在一个 CPU 上运行的任务无法被抢占。这意味着在使用以下策略时，您不能有一个以上的任务同时运行：SCHED_OTHER、SCHED_BATC 和 SCHED_IDLE(https://man7.org/linux/man-pages/man2/sched_setscheduler.2.html)。
• 如果两个或多个任务都拥有最高优先级，则这一规则同样适用于 SCHED_RR (https://man7.org/linux/man-pages/man2/sched_setscheduler.2.html)。在隔离 CPU 上运行单个任务才更不容易出错。
• 任务不使用 posix-cpu-timers（https://man7.org/linux/man-pages/man2/timer_create.2.html）。
• 任务不使用 perf 事件（https://man7.org/linux/man-pages/man2/perf_event_open.2.html）。
• 如果您在 x86 上运行，您的机器必须有一个可靠的时间戳计数器(TSC: https://www.suse.com/c/cpu-isolation-nohz_full-part-3/)，我们稍后介绍这一点。

残余的 1 Hz Tick（每秒钟中断）仍然存在，目的是为了维护调度程序内部统计。它以前在隔离的 CPU 上执行，但现在，这个事件使用一个未绑定的工作队列被卸载到 nohz_full 范围之外的 CPU。这意味着一个干净的设置可以在 CPU 上 100%无 Tick 运行。

定时器回调

未绑定定时器回调执行被移动到 nohz_full 范围之外的任何 CPU，因此，它们不会在错误的地方触发定时器 Tick。与此同时，被固定的定时器 Tick 不能转移到其他地方。我们稍后会探讨如何处理。

工作队列和其他内核线程

与定时器回调类似,未绑定的内核工作队列和 kthread 被移动到 nohz_full 范围之外的任何 CPU。但是,被固定的工作队列和 kthread 不能移动到其他地方。我们稍后会探讨如何处理。

RCU

大部分 RCU 处理任务都被卸载到隔离范围外的 CPU 上。CPU 设置为 nohz_full 在 NOCB 模式下运行(https://lwn.net/Articles/522262/)，这意味着在这些 CPU 上排队的 RCU 回调是在非隔离的 CPU 上运行的未绑定 kthreads 中执行。不需要传递“rcu_nocbs=” 内核参数，因为这在传递“nohz_full=” 参数时自动处理。

CPU 也不需要通过 Tick 来积极报告静止状态，因为它在返回到用户空间时进入RCU扩展静止状态。

Cputime 记账

将 CPU 切换到 full dynticks cputime 记账，这样它就不再依赖周期性事件。

其他隔离设置

尽管 nohz_full 是整个隔离设置的重要组成部分，但也需要考虑其他细节，其中重要的两项包括：

用户任务仿射

如果您想运行一个不被干扰的任务，一定不希望其他线程或进程与其共享 CPU。full dynticks 最终只在单个任务中运行，因此，需要：

• 将每个隔离任务仿射到 nohz_full 范围内的一个 CPU。每个 CPU 必须只有一个隔离任务。
• 将其他所有任务仿射到 nohz_full 范围之外。

有多种方式可以将您的任务仿射到一组 CPU 上，从底层系统调用 sched_setaffinity() (https://man7.org/linux/man-pages/man2/sched_setaffinity.2.html) ，到 taskset 等命令行工具(https://man7.org/linux/man-pages/man1/taskset.1.html)。另外也建议使用强大的 cgroup 接口，例如 cpusets (https://www.kernel.org/doc/html/latest/admin-guide/cgroup-v1/cpusets.html)。

IRQ 仿射

硬件 IRQ（除计时器和其他特定的中断之外）可能会在任何 CPU 上运行，并打乱您的隔离集。产生的干扰可能不仅仅是占用 CPU 时间和破坏 CPU 缓存的中断，IRQ 可能会在 CPU 上启动进一步的异步工作：softirq、计时器、工作队列等。因此，将 IRQ 仿射到 nohz_full 范围之外的 CPU 通常是一个好想法。这种仿射可以通过文件而取消：

/proc/irq/$IRQ/smp_affinity

$IRQ 是向量号，更多细节可见内核文档：https://www.kernel.org/doc/Documentation/IRQ-affinity.txt

所有这些 CPU 隔离设置都涉及到一些陷阱和权衡，我们将在第四篇文章中探讨。