操作系统底层技术——CPU亲和性

头图是加拿大lake simcoe自然风光,非常漂亮,基本没有中国游客,适合深度游。

这是操作系统底层技术第二篇,前一篇是《Codegen技术学习

CPU亲和性

简单地说,CPU亲和性(affinity)就是进程要在某个给定的CPU上尽量长时间地运行而不被迁移到其他处理器的倾向性。

Linux内核进程调度器天生就具有被称为软CPU亲和性(affinity)的特性,这意味着进程通常不会在处理器之间频繁迁移。这种状态正是我们希望的,因为进程迁移的频率小就意味着产生的负载小。2.6版本的Linux内核还包含了一种机制,它让开发人员可以编程实现硬CPU亲和性(affinity)。这意味着应用程序可以显式地指定进程在哪个(或哪些)处理器上运行。

原理

什么是Linux内核硬亲和性(affinity)?在Linux内核中,所有的进程都有一个相关的数据结构,称为task_struct。这个结构非常重要,原因有很多;其中与亲和性(affinity)相关度最高的是cpus_allowed位掩码。这个位掩码由n位组成,与系统中的n个逻辑处理器一一对应。具有4个物理CPU的系统可以有4位。如果这些CPU都启用了超线程,那么这个系统就有一个8位的位掩码。如果为给定的进程设置了给定的位,那么这个进程就可以在相关的CPU上运行。因此,如果一个进程可以在任何CPU上运行,并且能够根据需要在处理器之间进行迁移,那么位掩码就全是1。实际上,这就是Linux中进程的缺省状态。

Linux内核API提供了一些方法,让用户可以修改位掩码或查看当前的位掩码:

   sched_set_affinity()(用来修改位掩码)
   sched_get_affinity()(用来查看当前的位掩码)

注意,cpu_affinity会被传递给子线程,因此应该适当地调用sched_set_affinity。

为什么应该使用硬亲和性(affinity)?通常Linux内核都可以很好地对进程进行调度,在应该运行的地方运行进程(这就是说,在可用的处理器上运行并获得很好的整体性能)。内核包含了一些用来检测CPU之间任务负载迁移的算法,可以启用进程迁移来降低繁忙的处理器的压力。

一般情况下,在应用程序中只需使用缺省的调度器行为。然而,您可能会希望修改这些缺省行为以实现性能的优化。让我们来看一下使用硬亲和性(affinity)的2个原因。

原因1.充分利用cpu cache

如果一个给定的进程迁移到其他地方去了,那么它就失去了利用CPU缓存的优势。实际上,如果正在使用的CPU需要为自己缓存一些特殊的数据,那么所有其他CPU都会使这些数据在自己的缓存中失效。

因此,如果有多个线程都需要相同的数据,那么将这些线程绑定到一个特定的CPU上是非常有意义的,这样就确保它们可以访问相同的缓存数据(或者至少可以提高缓存的命中率)。否则,这些线程可能会在不同的CPU上执行,这样会频繁地使其他缓存项失效。

原因2保障时间敏感的、决定性的进程的cpu利用

我们对CPU亲和性(affinity)感兴趣的最后一个原因是实时(对时间敏感的)进程。例如,您可能会希望使用硬亲和性(affinity)来指定一个8路主机上的某个处理器,而同时允许其他7个处理器处理所有普通的系统调度。这种做法确保长时间运行、对时间敏感的应用程序可以得到运行,同时可以允许其他应用程序独占其余的计算资源。

应用场景

使用cpu亲和技术会显著提高cpu利用率,但是同时带来的副作用是丧失程序的扩展性,应用程序需要单独设置。这项技术在一些需要高性能,软硬结合的场景下非常有效。

云的核心技术就是虚拟化技术,首先是虚拟化技术,Cpu亲和技术在云上因此失效。

原文发布于微信公众号 - 大数据和云计算技术(jiezhu2007)

原文发表时间:2016-07-25

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏美团技术团队

WebView性能、体验分析与优化

在App开发中,内嵌WebView始终占有着一席之地。它能以较低的成本实现Android、iOS和Web的复用,也可以冠冕堂皇的突破苹果对热更新的封锁。 然而便...

85712
来自专栏bboysoul

conky主题Harmattan安装和介绍

Harmattan是一款conky主题,安装和使用都很简单,而且提供了很多样式,方便你选择。

911
来自专栏ionic3+

更小更快更易用的Angular5管中窥豹

这一段时间留意到Angular5的版本更新速度飞快,几乎两三天就一个版本,我就知道它快要来了。

753
来自专栏互联网杂技

巨头们关注的实时Web:发展与相关技术

我们生活在一个实时(real-time)的世界中,因此Web的最终最自然的状态也应当是实时的。用户需要实时的沟通、数据和搜索。我们对互联网信息实时性的要求也越来...

2808
来自专栏Android机动车

安卓优化之apk瘦身(27.7M-->17.5M)

apk瘦身作为优化的一部分,它的大小决定安装的时间与占用的内存,进行针对性的瘦身也能够提高用户体验,下面就看我怎样将一个27.7M的安装包减肥到17.5M,足足...

924
来自专栏小文博客

DIASPORA – 简约素色响应式单栏 WORDPRESS 博客主题

1894
来自专栏iOS 开发杂谈

iOS如何使用TestFlight进行App Beta版测试

TestFlight的测试方式分为两种: 一种是内部测试; 一种是外部测试。 从功能上讲,这两种方式都可以为测试人员在测试阶段对你的App进行测试。但是既...

6152
来自专栏假装我会写代码

基于 Laravel 的用户动态模块开发

1333
来自专栏.Net移动开发

4.6预告先导篇——你们关心的几个问题:关于页、文档、内网推送等

非常感谢大家对Smobiler的支持,从4.6版本的建议征集中,整理了几个大家关注得比较多的问题,在此单独列出答复。

1172
来自专栏互联网开发者交流社区

SEO-搜索引擎高级搜索指令

1525

扫码关注云+社区