在前一篇《局域网SDN技术硬核内幕 - 前传 多核技术为摩尔定律延寿》中提到了，通过多核可以突破主频物理限制的瓶颈，提升单台计算机的计算能力。在Intel的至强处理器平台上，单台计算机的核数可达200以上。
高性能的服务器，不一定是多线程实现的，也就是说多线程不一定比单线程效率高，这得分具体的情况。以redis为例，核心处理请求的线程只有一个，所以我们常常理解其仅仅只有一个线程，但准确来说其实并不是单线程的，比如日志的备份需要单独的fork一个进程或者线程去做备份等，那么redis何来单线程还能达到如此10万+的qps呢？其实这取决于具体的实现，redis采用了基于高性能Reactor的IO多路复用的模式+内存数据结构+单线程处理网络请求这几块，决定了其性能高的原因。
Intel DPDK，全称为Intel Data Plane Development Kit，是一个为Intel架构处理器设计的强大的数据包处理工具集。不同于传统的Linux系统设计，DPDK专注于网络应用中的高性能数据包处理。
大家好，我是cloud3，本文讲一下操作系统中的调度算法以及多处理中的调度问题。
最早意识到这两个概念可能不一样是在什么时候呢，不是在买电脑的时候哈，是在安装虚拟机的时候。
随着科技的飞速发展，计算需求日益复杂和多样化，传统的单核处理器已难以满足所有应用场景的需求。在这样的背景下，异构多核系统应运而生，成为推动计算领域进步的重要力量。异构多核系统不仅提高了计算效率，还优化了能耗，为众多领域带来了革命性的变革。
每一种技术的出现必然是因为某种需求。正因为人的本性是贪婪的，所以科技的创新才能日新月异。
本文是一篇翻译，翻译自https://software.intel.com/en-us/blogs/2015/06/12/user-space-networking-fuels-nfv-performance，文章有点老了，15年写的，但是文章总结了一些用户态的协议栈，很有学习参考的意义。 如今，作为一个网络空间的软件开发人员是非常激动人心的，因为工程师的角色随着这个世界的规则在逐渐改变。 过去这 15 年来，人们对高性能网络做了很多努力，网络模型也发生了很多改变，起初，数据包的收发都要推送到内核才能完成
单进程单线程：一个人在一个桌子上吃菜。 单进程多线程：多个人在同一个桌子上一起吃菜。 多进程单线程：多个人每个人在自己的桌子上吃菜。
前几期的大猫课堂中大猫教了大家“10行代码搞定滚动回归”，在那一期的最后大猫说文章中给出的是目前大猫看到的最快的实现方法，“如果有发现更快方法的小伙伴一定要联系大猫”，emmmm……现在看来大猫不得不自己寻找更快的方法了，因为大猫前几天遇到了这样一个需求：需要处理大约2700个股票的120日滚动回归，每次滚动回归包含一个OLS以及一个GARCH拟合。按照平均每个股票7年历史，每年250个交易日来算，那就大约需要完成2700*7*250*2=940万次拟合！这个运算在大猫的i7 3.5G+32G+1T SSD的地球人上似乎要永远运行下去，于是大猫只得乖乖停止进程思考提高运算效率的办法。
白嘉庆，西邮陈莉君教授门下研一学生。曾在华为西安研究所任C++开发一职，目前兴趣是学习Linux内核网络安全相关内容。
进行深度学习的训练向来不被认为是CPU的强项，但是以CPU研发见长的英特尔并不甘心屈服于这个定位，在过去的几年里，英特尔及其合作伙伴一直在探索用CPU来进行快速有效的深度学习开发的方法。代号KNL的Xeon Phi至强芯片是英特尔的努力尝试之一，同时在深度学习算法的改进上，英特尔也做了一些努力。 近日，在美国旧金山举行的IDF16大会上，与英特尔联合宣布启动了KNL试用体验计划的浪潮集团副总裁、技术总监胡雷钧做了基于英特尔至强融合处理器KNL和FPGA上的深度学习的试用体验报告。报告介绍了高性能计算和深度学
所有的内核代码都编译成一个二进制文件，所有的内核代码都运行在一个大内核地址空间里，内核代码可以直接调用和访问，效率高且性能好。
在Linux，以及其他类Unix的系统中，常用该系统正在进行的运算工作来衡量该系统的系统负荷(System Load)。一个完全空闲的系统，它的负荷(System Load)标记为0；每一个正在运行或者正在等待CPU资源的进程，会导致平均负荷(System Load )加1。所以，如果一个系统的负荷是4，就是说有4个进程正在使用，或者正在等待CPU资源。
由于电子设备的普及，越来越多人拥有树莓派，不管是作为电子极客，还是作为普通普通人，很多人都会玩一下树莓派，可以学习一些c语言，也可以学习嵌入式。下面我来介绍一下如何在树莓派上运行rt-thread rtos。
在linux bsp中，allwinner平台统一命名为“sunxi”。即：linux bsp中的“sunxi”可以理解为是allwinner的代称。
其实“多核”这个词已经流行很多年了，世界上第一款商用的非嵌入式多核处理器是2002年IBM推出的POWER4。当然，多核这个词汇的流行主要归功与AMD和Intel的广告，Intel与AMD的真假四核之争，以及如今的电脑芯片市场上全是多核处理器的事实。接下来，学术界的研究人员开始讨论未来成百上千核的处理器了。有一个与多核匹配的词叫片上网络（Networks on Chip），讲的是多核里的网络式互连结构，甚至有人预测未来将互连网集成到片上这种概念了。当然，这样的名词是很吸引眼球的，不过什么东西都得从实际出发，这篇文章也就简单地分析了为什么有多核这个事情，以及多核系统的挑战。
近些年，随着互联网的大发展，高并发服务器技术也快速进步，从简单的循环服务器模型处理少量网络并发请求，演进到解决C10K，C10M问题的高并发服务器模型。本文结合自己的理解，主要以TCP为例，总结了几种常见的网络服务器模型的实现方式，优缺点，以及应用实例。
全局解释器锁（Global Interpreter Lock）是计算机程序设计语言解释器用于同步线程的工具，使得在同一进程内任何时刻仅有一个线程在执行。常见例子有CPython（JPython不使用GIL）与Ruby MRI。
按：这是我给公司（部门）写的使用推广Go语言的建议书，给领导看了以后，领导同意使用Go语言对一些服务器程序进行改写并部署到外网进行验证。希望这篇文章能够给同样在自己公司内部推广Go语言的技术人员有一些帮助。同时如果发现文章中有疏漏不足错误之处也欢迎提出。 采用Go语言作为服务端编程语言的建议书 一、当前的挑战 随着互联网时代的到来，软件（特别是网络游戏）版本更新产品更迭的速度也在加快，这对软件开发效率和质量提出了更高的要求。只有更快更好更多地拿出产品，软件公司才能在市场上取得一席之地。随着
虽然我喜欢分级页表，但是反置页表才是更加自然的方式。之所以叫做 反置 页表，大概是因为它颠倒我们常规理解的寻址：
github： https://github.com/jemalloc/jemalloc
Go语言从诞生到普及已经三年了，先行者大都是Web开发的背景，也有了一些普及型的书籍，可系统开发背景的人在学习这些书籍的时候，总有语焉不详的感觉，网上也有若干流传甚广的文章，可其中或多或少总有些与事实不符的技术描述。希望这篇文章能为比较缺少系统编程背景的Web开发人员介绍一下goroutine背后的系统知识。 1. 操作系统与运行库 2. 并发与并行 (Concurrency and Parallelism) 3. 线程的调度 4. 并发编程框架 5. goroutine 1. 操作系统与运行库 对于普通的
之前的文章中我们介绍了Java 8中Stream相关的API，我们提到Stream API可以极大提高Java程序员的生产力，让程序员写出高效率、干净、简洁的代码。
Go语言从诞生到普及已经三年了，先行者大都是Web开发的背景，也有了一些普及型的书籍，可系统开发背景的人在学习这些书籍的时候，总有语焉不详的感觉，网上也有若干流传甚广的文章，可其中或多或少总有些与事实不符的技术描述。希望这篇文章能为比较缺少系统编程背景的Web开发人员介绍一下goroutine背后的系统知识。 1. 操作系统与运行库 2. 并发与并行 (Concurrency and Parallelism) 3. 线程的调度 4. 并发编程框架 5. goroutine 1. 操作系统与运行库 对于
Go语言从诞生到普及已经三年了，先行者大都是Web开发的背景，也有了一些普及型的书籍，可系统开发背景的人在学习这些书籍的时候，总有语焉不详的感觉，网上也有若干流传甚广的文章，可其中或多或少总有些与事实不符的技术描述。希望这篇文章能为比较缺少系统编程背景的Web开发人员介绍一下goroutine背后的系统知识。 1. 操作系统与运行库 2. 并发与并行 (Concurrency and Parallelism) 3. 线程的调度 4. 并发编程框架 5. goroutine 1. 操作系统与运行库 对
数据平面开发套件(DPDK [1] ,Data Plane Development Kit)是由6WIND,Intel等多家公司开发，主要基于Linux系统运行，用于快速数据包处理的函数库与驱动集合，可以极大提高数据处理性能和吞吐量，提高数据平面应用程序的工作效率。
在计算机科学和软件工程中，多线程编程是一项关键技能，尤其在当今多核处理器和高并发应用程序的背景下显得尤为重要。本文将全面探讨Linux环境下的线程编程，涵盖基本概念、线程创建与管理、线程同步、性能优化以及实际应用，通过详细的C++示例代码帮助读者深入理解并掌握这一技术。
嵌入式技术涉及的是嵌入式系统的设计和应用，这些系统是专门为执行某些特定任务而优化的计算机系统，而不是像通用计算机那样可以执行多种广泛的任务。嵌入式系统通常集成在更大的设备中，与设备的其他部分紧密协作。
随着云计算产业的异军突起，网络技术的不断创新，越来越多的网络设备基础架构逐步向基于通用处理器平台的架构方向融合，从传统的物理网络到虚拟网络，从扁平化的网络结构到基于 SDN 分层的网络结构，无不体现出这种创新与融合。
昨天，我们看到，多核处理器的出现大大提升了软转发的吞吐量，但缓存的优化成为多核的瓶颈。除了在MBUF方面做了优化之外，还有一个重要的地方——计数器的优化。
转一篇关于Python GIL的文章。 归纳一下，CPU的大规模电路设计基本已经到了物理意义的尽头，所有厂商们都开始转向多核以进一步提高性能。Python为了能利用多核多线程的的优势，但又要保证线程之间数据完整性和状态同步，就采用了最简单的加锁的方式（所以说Python的GIL是设计之初一时偷懒造成的！）。Python库的开发者们接受了这个设定，即默认Python是thread-safe，所以开始大量依赖这个特性，无需在实现时考虑额外的内存锁和同步操作。但是GIL的设计有时会显得笨拙低效，但是此时由于内
根据我们之前的一贯思路，对于一个工具来说都有一定边界和基础，然而软件或者数学都是基于一定的边界的，这些边界条件的变化也会对结果产生一定的影响，但是本质上没有改变。作者将这种重要的点叫做边界。边界的改变会对结果有很大的影响，但不改变主题，所以存在最优的边界条件。寻找最优的过程就是优化。
Java8的Stream API可以极大提高Java程序员的生产力，让程序员写出高效率、干净、简洁的代码。
硬件中断发生频繁，是件很消耗 CPU 资源的事情，在多核 CPU 条件下如果有办法把大量硬件中断分配给不同的 CPU (core) 处理显然能很好的平衡性能。 现在的服务器上动不动就是多 CPU 多核、多网卡、多硬盘，如果能让网卡中断独占1个 CPU (core)、磁盘 IO 中断独占1个 CPU 的话将会大大减轻单一 CPU 的负担、提高整体处理效率。 VPSee 前天收到一位网友的邮件提到了 SMP IRQ Affinity，引发了今天的话题：D，以下操作在 SUN FIre X2100 M2 服务器＋
很多同学都听说过，现代操作系统比如Mac OS X，UNIX，Linux，Windows等，都是支持“多任务”的操作系统。
这两天，圈里一个名为“火龙”的操作系统突然爆红，其作者调侃地称其为“全宇宙首个采用中文编写的操作系统”，使用自创的甲语言、乙语言开发，支持64位多核多任务图形化，采用分页式内存管理。 1 自创甲、乙、丙语言 既然要开发操作系统，编程语言必不可少，为此他创建了三种编程语言，取名还透着一分随性：甲、乙、丙语言。 甲语言：一门对机器码助记语言，让人更容易理解的语言，发明目的是为了开发操作系统。 乙语言：一门对甲语言进行结构化过程化的语言，发明目的是为了提高开发效率。 丙语言：一门面向对象的高级语言，可以理解为
在建立连接的时候，Nginx处于充分发挥多核CPU架构性能的考虑，使用了多个worker子进程监听相同端口的设计，这样多个子进程在accept建立新连接时会有争抢，这会带来著名的“惊群”问题，子进程数量越多越明显，这会造成系统性能的下降。
来源：https://dwz.cn/pSW0u0Qr（后台回复 2TB 获取超2TB Java 学习资源）
在打算写这篇多线层底层实现机制的时候，突然发现自己对于计算机竟然懂得这么表面，对于CPU的工作原理都不完全清楚，于是又转头查看了一些CPU相关的资料。也不敢钻的太深，怕自己迷路...，其中如有错误，望知道的朋友在下面留言评论，我会及时更新的。
梯度提升是一种可以获得当前最佳性能的监督学习方法，它在分类、回归和排序方面有很好的表现。XGBoost 是一般化梯度提升算法的实现，它在多核和分布式机器上有着高度优化的实现，且能处理稀疏数据。怀卡托大学和英伟达在这一篇论文中描述了标准 XGBoost 库的扩展，它支持多 GPU 的执行，并能显著地减少大规模任务的运行时间。本论文提出的扩展是原版 GPU 加速算法的新进展，它展现出拥有更快速和更高内存效率的策树算法。该算法基于特征分位数（feature quantiles）和梯度提升树其它部分的并行化算法。作者们在 GPU 上实现决策树构建、分位数生成、预测和梯度计算算法，并端到端地加速梯度提升流程。这一过程使得 XGBoost 库可以利用显著提升的内存带宽和大规模并行化 GPU 系统集群。
首先要实现多任务，我们需要设计Master-Worker模式，Master负责分配任务，Worker负责执行任务。因此，多任务环境下，通常是一个Master，多个Wroker。
本文属于并发编程系列，通过之前的文章我们了解到了CPU中缓存行的概念。简单复习一下就是缓存行是CPU读写缓存的最小单位，一般是64字节。另外当前CPU共有三个级别的缓存，从距离CPU内核的由近及远分为是L1 Cache、L2 Cache、L3 Cache。基于这个背景知识，我今天继续来谈一下和缓存相关的另一大话题：Fasle Sharing！
Python的线程因为解释器锁的设计，所以不能充分利用CPU，只能通过进程来实现多核利用 性能考虑的话，底层还是不要用Py，进程切换效率太低，Py多做为脚本层的胶水语言
今天是参加Intel多核和多线程培训的第一天，感触颇深。因为目前我们正在开发一个分布式的多线程系统，前不久也做过一些优化，听了今天的课程，能产生一点点共鸣。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
云直播
