数据库选型:多核还是多线程?

数据库选型,是用多核主机还是多线程主机?我是否可以用比较便宜的单核超线程(Hyper-Threading,HT)的机器,来替代双核非HT的机器?

回答这个问题,我们由浅入深的来看。

一,术语:

槽位(socket):指机器上可以容纳物理CPU个数的空间。一般也成为多少多少“路”,英文除了socket,也成processors。

核(core):指一个CPU中,包含若干个独立组成部分。

指令(Instruction):一个指令包含如下步骤:指令预取(IF),指令解码(ID),执行(EX),内存访问(MEM),寄存器写回(WB) 注,读取寄存器是在ID阶段。

指令流水线(Instruction pipelining):由于指令被切割成上面5部分,那么通过(以类似流水线的方式)同时执行不同指令的不同部分,来提高吞吐量。

为什么能提高吞吐量,我们打个比方:麦当劳买汉堡,要经过点餐(1分钟),做汉堡(3分钟),做薯条(2分钟),包装(1分钟),送餐(1分钟)。

(1)那么如果非流水线模式,顾客A需要等1+3+2+1+1=8分钟,如果顾客B是和顾客A一起到的,那么他需要等顾客A完成之后,再继续等8分钟。所以如果同时有N个顾客,顾客N需要等的时间是8N分钟。

(2)如果是采用流水线模式,顾客A点完餐,开始做汉堡的时候,此时点餐的服务员开始服务顾客B,那么顾客B需要等待11分钟。 如果同时有N个顾客,那么顾客N需要等的时间是1+3N+2+1+1=5+3N分钟。

由此可见流水线模式提高了效率,或者说吞吐量。可以在单位时间内服务更多的用户。HT模式下,只是将原来的CPU寄存器分成了2个,从这个角度上提高了吞吐量

但是由于其他如L1,L2等等都是共享的,因此还是会存在竞争。那么,指令的5个步骤,比作麦当劳买汉堡的5个步骤,也是类似的。

时钟频率(clock rate):每个CPU指令可能花费一个或者多个时钟周期,如5Ghz表示CPU每秒运行50亿个时钟周期。注:更快的时钟频率并不一定高性能,它取决于快速周期中到底做什么。如果他们大部分时间是停滞等待内存访问,那么更快的执行实际并不能提高CPU指令的执行效率或者吞吐量。

CPU内存缓存:

注1:HT CPU的寄存器(Register)独立,但是L1和L2缓存都是共享的。另外,负责运算的ALU(负责整形运算),FPU(负责浮点运算),以及MMU和TLB也都是共享的。

注2:多核CPU,L1缓存独立,但是共享L2缓存。(2012年前,L3缓存是外置的,没有集成在芯片内)

注3:L1和L2之间有MMU和TLB

分页内存管理单元(MMU,memory management unit):负责虚拟地址和物理地址的转换,

TLB(Translation Lookaside Buffer):维基上叫转译后备缓冲器或者页表缓存,你可以理解成这是页表的buffer

调度器(Scheduler):将CPU分配给线程的kernel程序。

上下文切换(context switch):多个进程分享CPU资源的一种方式。

注意其实最后的2个概念是kernel了,而不是CPU硬件了。

CPU这些组件存在的意义

  • 1.在单核计算机里,有一个资源是无法被多个程序并行使用的:CPU。 没有操作系统的情况下,一个程序一直独占着全都CPU。 如果要有两个任务来共享同一个CPU,程序员就需要仔细地为程序安排好运行计划–某时刻cpu和由程序A来独享,下一时刻cpu由程序B来独享 而这种安排计划后来成为OS的核心组件,被单独名命为“scheduler”,即“调度器”,它关心的只是怎样把单个CPU的运行拆分成一段一段的“运行片”,轮流分给不同的程序去使用,而在宏观上,因为分配切换的速度极快,就制造出多程序并行在一个CPU上的假象。
  • 2.在单核计算机里,有一个资源可以被多个程序共用,然而会引出麻烦:内存。 在一个只有调度器,没有内存管理组件的操作系统上,程序员需要手工为每个程序安排运行的空间 — 程序A使用物理地址0x00-0xff,程序B使用物理地址0x100-0x1ff,等等。 然而这样做有个很大的问题:每个程序都要协调商量好怎样使用同一个内存上的不同空间,软件系统和硬件系统千差万别,使这种定制的方案没有可行性。 为了解决这个麻烦,计算机系统引入了“虚拟地址”的概念,从三方面入手来做: 2.1、硬件上,CPU增加了一个专门的模块叫MMU,负责转换虚拟地址和物理地址。 2.2、操作系统上,操作系统增加了另一个核心组件:memory management,即内存管理模块,它管理物理内存、虚拟内存相关的一系列事务。 2.3、应用程序上,发明了一个叫做“进程”的模型,(注意)每个进程都用“完全一样的”虚拟地址空间,然而经由操作系统和硬件MMU协作,映射到不同的物理地址空间上。不同的“进程”,都有各自独立的物理内存空间,不用一些特殊手段,是无法访问别的进程的物理内存的。
  • 3.现在,不同的应用程序,可以不关心底层的物理内存分配,也不关心CPU的协调共享了。然而还有一个问题存在:有一些程序,想要共享CPU,并且还要共享同样的物理内存,这时候,一个叫“线程”的模型就出现了,它们被包裹在进程里面,在调度器的管理下共享CPU,拥有同样的虚拟地址空间,同时也共享同一个物理地址空间,然而,它们无法越过包裹自己的进程,去访问别一个进程的物理地址空间。
  • 4.进程之间怎样共享同一个物理地址空间呢?不同的系统方法各异,符合posix规范的操作系统都提供了一个接口,叫mmap,可以把一个物理地址空间映射到不同的进程中,由不同的进程来共享。

三、相关

1. NUMA架构。注意这是针对多socket来讲的,不是针对多core或者多线程。 2. 关于MMU和TLB,当内存较多时,TLB无关管理太多的物理内存页面,此时就引入了大页(Huge Page)。因此对于使用较多内存的数据库(如32G以上),建议开启HugePage,但是要注意关闭透明大页(Transparent HugePage)。另外,注意12c的pre_page_sga内部算法已经改变,可以使用pre_page_sga。 3. 关于CPU调度时,进程优先级的问题,对于高写入的oracle数据库,建议将lgwr放在”_high_priority_processes”. 4. 对于单核HT的CPU,只是独立的寄存器,而L1,L2等组件,还是共享,肯定会在这一层存在争用。 5. 对于多core的CPU,寄存器和L1独立,L2以下部分共享。由于总线(BUS)是共享的,所以总线带宽肯定会有瓶颈。 6. 对于多socket的CPU,一个多几个socket的CPU可以组成一个numa node,需要注意memory remote调用的问题。 7. 单核HT的CPU不应该和双核非HT的CPU比较,应该是和单核非HT的CPU比较,根据intel自己的介绍,使用HT比非HT快15%~30%左右, 而不是理想中的翻倍,而且,这应该还是在没有争用的情况下。

原文发布于微信公众号 - 数据和云(OraNews)

原文发表时间:2017-05-25

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏FreeBuf

“同形异义字”钓鱼攻击,钉钉中招

技术交流:allen.lan#hotmail.com(# > @) 同形异义字钓鱼攻击号称“几乎无法检测”,是最狡猾的钓鱼攻击!这种攻击产生的原因是国际化域名...

3087
来自专栏FreeBuf

来自后方世界的隐匿威胁:后门与持久代理(一)

干了十几年安全工作,发现一些同行只是把简单的工具扫描和渗透测试当成了全部工作,拿到需要的数据及测试结果既为完成工作。可各位兄弟,咱扪心自问,这样的安全测试能叫真...

2685
来自专栏沈唁志

更换服务器遇到的破事

2834
来自专栏FreeBuf

CVE-2015-0393:Oracle发布严重安全漏洞预警

Oracle在本周二发布了本年度第一个安全补丁升级(CPU)公告,随之而来的,还有一些令人不安的漏洞预警。也许这两天运维同学们需要给自家公司的Oracle产品打...

2195
来自专栏腾讯Bugly的专栏

微信文件微起底

微信大家都在用,但微信的本地文件到底隐藏着什么样的信息呢?我们怎么可以把长得都一样的微信,变的跟别人的不一样,来个专业定制 100 年呢?这个是一个让大家的微信...

3044
来自专栏编程一生

架构必会的性能指标及分析策略

1222
来自专栏编程

高级运维工程师学习路线

信息安全公益宣传,信息安全知识启蒙。 ? 运维工程师在前期是一个很苦逼的工作,在这期间可能干着修电脑、掐网线、搬机器的活,显得没地位!时间也很碎片化,各种零碎...

4917
来自专栏FreeBuf

如何通过WIFI渗透企业内网?

介绍 黑盒渗透测试意味着白帽子对目标网络一无所知。模拟黑客攻击网络,并获取敏感信息。进一步,探索内网,识别内网中的漏洞,通过漏洞访问网络里的重要资源。 目的 在...

3338
来自专栏FreeBuf

如何在网络中追踪入侵者(三):主机追踪

在之前的文章中,我们专注于追踪和分析从网络中得到的数据。但事实上,在网络中追踪不是唯一的选项。在企业的主机和服务器上有大量的数据集来发掘未知的恶意行为,包括运行...

2069
来自专栏落花落雨不落叶

树莓派+花生棒+leanote搭建自己的笔记服务器

3322

扫码关注云+社区

领取腾讯云代金券