操作系统底层技术——CPU亲和性

头图是加拿大lake simcoe自然风光,非常漂亮,基本没有中国游客,适合深度游。

这是操作系统底层技术第二篇,前一篇是《Codegen技术学习

CPU亲和性

简单地说,CPU亲和性(affinity)就是进程要在某个给定的CPU上尽量长时间地运行而不被迁移到其他处理器的倾向性。

Linux内核进程调度器天生就具有被称为软CPU亲和性(affinity)的特性,这意味着进程通常不会在处理器之间频繁迁移。这种状态正是我们希望的,因为进程迁移的频率小就意味着产生的负载小。2.6版本的Linux内核还包含了一种机制,它让开发人员可以编程实现硬CPU亲和性(affinity)。这意味着应用程序可以显式地指定进程在哪个(或哪些)处理器上运行。

原理

什么是Linux内核硬亲和性(affinity)?在Linux内核中,所有的进程都有一个相关的数据结构,称为task_struct。这个结构非常重要,原因有很多;其中与亲和性(affinity)相关度最高的是cpus_allowed位掩码。这个位掩码由n位组成,与系统中的n个逻辑处理器一一对应。具有4个物理CPU的系统可以有4位。如果这些CPU都启用了超线程,那么这个系统就有一个8位的位掩码。如果为给定的进程设置了给定的位,那么这个进程就可以在相关的CPU上运行。因此,如果一个进程可以在任何CPU上运行,并且能够根据需要在处理器之间进行迁移,那么位掩码就全是1。实际上,这就是Linux中进程的缺省状态。

Linux内核API提供了一些方法,让用户可以修改位掩码或查看当前的位掩码:

   sched_set_affinity()(用来修改位掩码)
   sched_get_affinity()(用来查看当前的位掩码)

注意,cpu_affinity会被传递给子线程,因此应该适当地调用sched_set_affinity。

为什么应该使用硬亲和性(affinity)?通常Linux内核都可以很好地对进程进行调度,在应该运行的地方运行进程(这就是说,在可用的处理器上运行并获得很好的整体性能)。内核包含了一些用来检测CPU之间任务负载迁移的算法,可以启用进程迁移来降低繁忙的处理器的压力。

一般情况下,在应用程序中只需使用缺省的调度器行为。然而,您可能会希望修改这些缺省行为以实现性能的优化。让我们来看一下使用硬亲和性(affinity)的2个原因。

原因1.充分利用cpu cache

如果一个给定的进程迁移到其他地方去了,那么它就失去了利用CPU缓存的优势。实际上,如果正在使用的CPU需要为自己缓存一些特殊的数据,那么所有其他CPU都会使这些数据在自己的缓存中失效。

因此,如果有多个线程都需要相同的数据,那么将这些线程绑定到一个特定的CPU上是非常有意义的,这样就确保它们可以访问相同的缓存数据(或者至少可以提高缓存的命中率)。否则,这些线程可能会在不同的CPU上执行,这样会频繁地使其他缓存项失效。

原因2保障时间敏感的、决定性的进程的cpu利用

我们对CPU亲和性(affinity)感兴趣的最后一个原因是实时(对时间敏感的)进程。例如,您可能会希望使用硬亲和性(affinity)来指定一个8路主机上的某个处理器,而同时允许其他7个处理器处理所有普通的系统调度。这种做法确保长时间运行、对时间敏感的应用程序可以得到运行,同时可以允许其他应用程序独占其余的计算资源。

应用场景

使用cpu亲和技术会显著提高cpu利用率,但是同时带来的副作用是丧失程序的扩展性,应用程序需要单独设置。这项技术在一些需要高性能,软硬结合的场景下非常有效。

云的核心技术就是虚拟化技术,首先是虚拟化技术,Cpu亲和技术在云上因此失效。

原文发布于微信公众号 - 大数据和云计算技术(jiezhu2007)

原文发表时间:2016-07-25

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏Golang语言社区

Go语言基于共享变量的并发

一个特定类型的方法和操作函数是并发安全的,那么所有它的访问方法和操作都是并发安全的。导出包级别的函数一般情况下都是并发安全的,package级的变量没法被限制在...

2534
来自专栏架构之路

wait方法和sleep方法的区别

一.概念、原理、区别 Java中的多线程是一种抢占式的机制而不是分时机制。线程主要有以下几种状态:可运行,运行,阻塞,死亡。抢占式机制指的是有多个线程处于可运...

3255
来自专栏Golang语言社区

Go语言基于共享变量的并发

一个特定类型的方法和操作函数是并发安全的,那么所有它的访问方法和操作都是并发安全的。导出包级别的函数一般情况下都是并发安全的,package级的变量没法被限制在...

2984
来自专栏Java Web

Java 面试知识点解析(二)——高并发编程篇

18910
来自专栏机器学习从入门到成神

2013百度校招笔试真题以及解析(内存管理及其优缺点总结)

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/sinat_35512245/articl...

391
来自专栏皮振伟的专栏

[linux][net]网卡多队列对vm exit的影响

前言: 虚拟机性能调试的时候,遇到了external irq对vm造成了exit。 分析: 1,网卡多队列 ? enp130s0f0是Intel Corpor...

3076
来自专栏吕力的专栏

一种理解同步/异步,阻塞/非阻塞,Linux IO 模型,select /poll /epoll 的方法

强迫症不能忍受这种极其绕的概念而不给个说法,这些概念困扰我许久,下面给出这一阶段我个人的理解。

5141
来自专栏desperate633

计算机网络的性能衡量指标速率带宽延迟/时延(delay或latency)时延带宽积分组丢失(丢包)吞吐量/率(Throughput)

这是最常见的一个性能指标 “带宽” (bandwidth)原本指信号具有的频带宽度,即最高频率与最低频率之差,单位是赫兹(Hz) 网络的“带宽”通常是数字信...

541
来自专栏大内老A

使命必达: 深入剖析WCF的可靠会话[编程篇](上)

在《实例篇》给出的例子中,我实际上是通过对终结点的绑定进行相应的配置让整个消息的交换过程在一个可靠会话中进行,进而实现可靠消息传输的目的。由于整个可靠会话的机制...

1705
来自专栏程序员互动联盟

linux设备驱动第一篇:设备驱动程序简介

首先,我们知道驱动是内核的一部分,那么驱动在内核中到底扮演了什么角色呢? 设备驱动程序在内核中的角色:他们是一个个独立的“黑盒子”,使某个特定的硬件响应一个定义...

31410

扫描关注云+社区