最近Rust For Linux的项目，随着Rust的火爆也开始逐渐升温，但是谷歌的强烈支持以及rCore OS、Redox等各种Rust操作系统项目的经验积累，Rust想进入到Linux的真正核心，也还是有很长的路要走，之前笔者已经撰文对于Rust在汇编支持、panic和alloc等系统操作等方面的问题进行过简要说明了。这里再对于Rust进入到Linux内核的最大拦路虎-也就是内存模型方面的问题，做一下介绍。
开发过程中，对于多线程多进程的并发和并行的几乎是编程不可避免的事情，特别在涉及对于数据进行修改或者添加的时候。这个时候就需要锁的出现，锁有多种类型，互斥锁，自旋锁。除了锁之外，我们还定义了原子操作，当然如果探究本质的话，原子操作也是有锁的，只不过是对汇编的操作锁。
RCU是Linux 2.6内核系统新的锁机制 RCU(Read-Copy Update)。参考：http://www.ibm.com/developerworks/cn/linux/l-rcu/
Disruptor的RingBuffer, 之所以可以做到完全无锁，也是因为"单线程写"，这是所有"前提的前提"，离了这个前提条件，没有任何技术可以做到完全无锁。Redis、Netty等等高性能技术框架的设计都是这个核心思想。
术语“非阻塞”表示并发数据结构，该结构不使用传统的同步原语（例如警卫程序）来确保线程安全。 Maurice Herlihy和Nir Shavit（比较“多处理器编程的艺术”）区分了3种类型的非阻塞数据结构，每种结构具有不同的属性：
曾经有一份丰厚的报酬摆在我面前，我没有珍惜。直到失去之后我才意识到，我可以会写线程上下文切换。 如果客户能给我一次重新组织语言的机会，我要跟他说三个字：“我会写！！！”
非池化/池化内存如何分配的？该撸这块了，奈何到处都在调用PlatformDependent类的方法，要不各种判断，要不分配堆外内存。反正到处都能看到它，得，索性先把这个撸一把。PlatformDependent又依赖了PlatformDependent0，那就一层一层剥好了。
也就常说的单生产者-单消费者 的ringbuffer， 限制就是只能一个读线程（消费者），一个写进程（生产者）。
多线程编程是多CPU系统在中应用最广泛的一种编程方式，在传统的多线程编程中，多线程之间一般用各种锁的机制来保证正确的对共享资源（share resources）进行访问和操作。
Hello大家好,很高兴可以在这里和大家分享一下我的个人开源项目Microflow的相关工作。 我是BII天地互连的工程师，在公司里负责SDN产品和技术的开发，同时在ONF、OPNFV、ONOS等社区也有大量标准、开源，项目搭建等工作，目前在ONF担任工作组的副主席。 因为之前在做SDN控制器性能测试的缘故，对目前主流的开源控制器的性能都做了一些定量的测评，结果显示并不令人满意。 上周的那个paper里也同样认为当下控制器的性能是限制SDN网络部署的瓶颈，虽说分析得并不全面，但也部分说明了现状。 分析过CB
Boost_1_53_0终于迎来了久违的Boost.Lockfree模块，本着学习的心态，将其翻译如下。（原文地址：http://www.boost.org/doc/libs/1_53_0/doc/html/lockfree.html）
作为全球领先的云服务提供商之一，腾讯云*致力于向全球用户提供性能卓越的企业级网络服务。公有云对于服务质量有着严苛的要求，计算、内存、网络以及存储等各项资源的分配能否满足服务水平协议中所承诺的标准，都将直接影响最终用户的应用体验。对于云服务提供商来说，如何在充分利用以上资源，满足服务水平协议的前提下，尽可能减少额外资源开销，也是降低运营成本的关键因素之一。为在降低成本的同时保证优质的服务质量，腾讯云携手深度合作伙伴英特尔，基于腾讯云应用程序界面 (Application Programming Interfaces, API) TGW 与腾讯专门的硬件工程实验室 星星海实验室的创新软硬件结合方案，发挥 TGW 在网络领域的技 术优势，针对网络资源调度及分配展开性能优化。
原子操作就是在多线程程序中“最小的且不可并行化的”操作，意味着多个线程访问同一个资源时，有且仅有一个线程能对资源进行操作。通常情况下原子操作可以通过互斥的访问方式来保证，例如Linux下的互斥锁（mutex），Windows下的临界区（Critical Section）等。下面看一个Linux环境使用POSIX标准的pthread库实现多线程下的原子操作：
随着云计算产业的异军突起，网络技术的不断创新，越来越多的网络设备基础架构逐步向基于通用处理器平台的架构方向融合，从传统的物理网络到虚拟网络，从扁平化的网络结构到基于 SDN 分层的网络结构，无不体现出这种创新与融合。
有的CPU指令都支持CAS的原子操作，X86下对应的是 CMPXCHG 汇编指令。 大家应该还记得操作系统里面关于“原子操作”的概念，一个操作是原子的(atomic)，如果这个操作所处的层(layer)的更高层不能发现其内部实现与结构。原子操作可以是一个步骤，也可以是多个操作步骤，但是其顺序是不可以被打乱，或者切割掉只执行部分。有了这个原子操作这个保证我们就可以实现无锁了。 CAS原子操作在维基百科中的代码描述如下: 1: int compare_and_swap(int* reg, int oldval, int newval) 2: { 3: ATOMIC(); 4: int old_reg_val = *reg; 5: if (old_reg_val == oldval) 6: *reg = newval; 7: END_ATOMIC(); 8: return old_reg_val; 9: }
由以下博客的分析可以知道，内核的kfifo使用了很多技巧以实现其高效性。比如，通过限定写入的数据不能溢出和内存屏障实现在单线程写单线程读的情况下不使用锁。因为锁是使用在共享资源可能存在冲突的情况下。还用设置buffer缓冲区的大小为2的幂次方，以简化求模运算，这样求模运算就演变为 (fifo->in & (fifo->size – 1))。通过使用unsigned int为kfifo的下标，可以不用考虑每次下标超过size时对下表进行取模运算赋值，这里使用到了无符号整数的溢出回零的特性。由于指示读写指针的下标一直在增加，没有进行取模运算，知道其溢出，在这种情况下写满和读完就是不一样的标志，写满是两者指针之差为fifo->size，读完的标志是两者指针相等。后面有一篇博客还介绍了VxWorks下的环形缓冲区的实现机制点击打开链接，从而可以看出linux下的fifo的灵巧性和高效性。
每一种技术的出现必然是因为某种需求。正因为人的本性是贪婪的，所以科技的创新才能日新月异。
一、 引入 随着TIG阿基米德平台全面应用。组成京东容器生态技术栈的分布式域名解析服务ContainerDNS（go版https://github.com/tiglabs/containerdns ）全量生产环境应用，承载着每天百亿的访问量，单实例峰值每秒请求达到15W QPS，已经接近ContainerDNS的性能极限（17W QPS）。为了更好的提高系统的并发服务，对ContainerDNS 的优化也势在必行。 本文对ContainerDNS性能优化思考和技术实践历程，希望对业内在容器领域和域名解析方
这个教程非常完整，基于actix-web 1.0和Diesel实现的一个基于JWT认证的微服务系统。
TSL是Test and Set Lock的缩写，是CPU提供的一个原子指令，其工作如下所述：它将一个存储器字读到一个寄存器中，然后在该内存地址上存一个非零值。读数和写数操作保证是不可分割的——即该指令结束之前其他处理机均不允许访问该存储器字。执行TSL指令的CPU将锁住内存总线（实际是锁缓存）以禁止其他CPU在本指令结束之前访问内存。操作系统的Mutex的加锁过程就是基于TSL指令实现的。
大家都知道Linux内核task调度器经历了O(n)，O(1)调度器，目前是CFS，期间也出现了几个优秀的候选调度器，但最终都没能并入内核，我们只能从一些零散的patch和文章中知道它们的存在。
在多任务操作系统中，为了提高CPU的利用率，可以让当前系统运行远多于CPU核数的线程。但是由于同时运行的线程数是由CPU核数来决定的，所以为了支持更多的线程运行，CPU会把自己的时间片轮流分给其他线程，这个过程就是上下文切换。 导致上下文切换的原因有很多，比如通过wait()、sleep()等方法阻塞当前线程，这时CPU不会一直等待，而是重新分配去执行其他线程。当后续CPU重新切换到当前线程时，CPU需要沿着上次执行的指令位置继续运行。因此，每次在CPU切换之前，需要把CPU寄存器和程序计数器保存起来，这些信息会存储到系统内核中，CPU再次调度回来时会从系统内核中加载并继续执行。简而言之，上下文切换，就是CPU把自己的时间片分配给不同的任务执行的过程。
Synchronize 翻译成中文：同步，使同步。synchronized：已同步。synchronized 能够保证同一时刻最多只有一个线程执行该段代码，以达到并发安全的效果。也就是说 Synchronized 在某个线程将资源锁住了之后，其他线程只有在当前线程使用完成后，才可以接着使用。
高性能和高并发，听着就有点类似，并且他们还经常一起提及，比如提高我们的并发性能，显然，高性能可以提高我们的并发，但是细化来看，他们是有区别的，他们的考量点的维度不同。高性能需要我们从单机维度到整体维度去考虑，更多的是先从编码角度、架构使用角度去让我们的单机（单实例）有更好的性能，然后再从整个系统层面来拥有更好的性能；高并发则直接是全局角度来让我们的系统在全链路下都能够抗住更多的并发请求。
lock free (中文一般叫“无锁”，一般指的都是基于CAS指令的无锁技术) 是利用处理器的一些特殊的原子指令来避免传统并行设计中对锁(lock)的使用。
随着得物业务规模的不断增加，推荐业务也越来越复杂，对推荐系统也提出了更高的要求。我们于 2022 年下半年启动了 DGraph 的研发，DGraph 是一个 C++项目，目标是打造一个高效易用的推荐引擎。推荐场景的特点是表多、数据更新频繁、单次查询会涉及多张表。了解这些特点，对于推荐引擎的设计非常重要。通过阅读本文，希望能对大家了解推荐引擎有一定帮助。为什么叫 DGraph？因为推荐场景主要是用 x2i(KVV)表推荐为主，而 x2i 数据是图(Graph)的边，所以我们给得物的推荐引擎取名 DGraph。
垃圾回收机制（GC）对大部分开发者来说应该不陌生，特别是Java开发者或多或少都跟GC打过交道。 GC的优点是实现对堆上分配的内存动态回收，避免内存泄漏。但是GC的缺点是对性能有一定影响，特别是stop the world问题， 而且GC什么时候回收内存是不确定的，开发者无法知晓。
无锁编程是一个挑战，不仅因为任务本身的复杂性，还因为从一开始就很难深入了解这个主题，因为该主题和底层技术（编译器，CPU，内存）息息相关，需要深厚底层功底。
记下你的普通/常规用户名将是明智之举。如你所见，我的普通帐户的用户名是 abhishek。
以前一直听说有Disruptor这个东西，都是性能很强大，所以这几天自己也看了一下。 下面是自己的学习笔记，另外推荐几篇自己看到写的比较好的博客： Disruptor——一种可替代有界队列完成并发线程间数据交换的高性能解决方案 Disruptor3.0的实现细节
相对传统的基于内核的网络数据处理，dpdk 对从内核层到用户层的网络数据流程进行了重大突破，我们先看看传统的数据流程和 dpdk 中的网络流程有什么不同。
如何保证一个进程或线程能安全稳定地把一段消息发送到另一个进程和线程，甚至是另一台机器的进程或线程，再或是要通过代理转发到另一个进程或线程，一直是一个比较麻烦的问题。
重量级锁就是如果存在线程竞争，会把线程 挂起来，等其他线程释放锁后，再去唤醒挂起的线程。因为线程的挂起和唤醒需要从内核态到用户态的切换，这个切换需要操作系统的支持，性能消耗非常大。
并发编程中，锁带解决了安全问题，同时也带来了性能问题，因为锁让并发处理变成了串行操作，所以如无必要，尽量不要显式使用锁。
「CAS」(Compare And Swap) 是一种无锁算法的实现手段，中文名称为比较并交换。它由 CPU 的原子指令实现，可以在多线程环境下实现无锁的数据结构。
一个程序员在没有成长成为架构师之前，几乎都要跟 Bug为伴，程序员有很多时间都是花在了查找各种 Bug上。
针对海量的网络流量，转发性能是我们最关键的一个方面，那构建高性能的后台服务器有哪些关键的技术和需要注意的地方。
传统的锁（也就是下文要说的重量级锁）依赖于系统的同步函数，在linux上使用mutex互斥锁，这些同步函数都涉及到用户态和内核态的切换、进程的上下文切换，成本较高。对于加了synchronized关键字但运行时并没有多线程竞争，或两个线程接近于交替执行的情况，使用传统锁机制无疑效率是会比较低的。
对于那些想从舒适的 Windows 中享受 Linux 命令行的人来说，WSL（Windows Subsystem for Linux） 是一个方便的工具。
AQS是并发基类 , 通过State以及Exclussive Thread来控制资源总数以及资源独占的线程. 通过LockSupport.park/unpark来控制线程CPU的调度 , 用于让某个线程获取/让出CPU资源.
Lock 是一种锁的机制 , 调用 lock() 方法 , 表示要对下方的代码进行加锁 , 这些代码是线程安全的 ;
死锁、活锁、饥饿是关于多线程是否活跃出现的运行阻塞障碍问题，如果线程出现了这三种情况，即线程不再活跃，不能再正常地执行下去了。 死锁 死锁是多线程中最差的一种情况，多个线程相互占用对方的资源的锁，而又相互等对方释放锁，此时若无外力干预，这些线程则一直处理阻塞的假死状态，形成死锁。 举个例子，A同学抢了B同学的钢笔，B同学抢了A同学的书，两个人都相互占用对方的东西，都在让对方先还给自己自己再还，这样一直争执下去等待对方还而又得不到解决，老师知道此事后就让他们相互还给对方，这样在外力的干预下他们才解决，当然
1. 引言 现代计算机，即使很小的智能机亦或者平板电脑，都是一个多核(多CPU)处理设备，如何充分利用多核CPU资源，以达到单机性能的极大化成为我们码农进行软件开发的痛点和难点。在多核服务器中，采用多进程或多线程来并行处理任务，俨然成为了大家性能调优的标准解决方案。多进程(多线程)的并行编程方式，必然要面对共享数据的访问问题，如何并发、高效、安全地访问共享数据资源，成为并行编程的一个重点和难点。 传统的共享数据访问方式是采用同步原语(临界区、锁、条件变量等)来达到共享数据的安全访问，然而，同步恰恰和
最近有个读者问我什么是CAS，今天了不起来聊聊CAS(Compare And Swap)这个概念。
并发编程式Java基础，同时也是Java最难的一部分，因为与底层操作系统和硬件息息相关，并且程序难以调试。本系列就从synchronized原理开始，逐步深入，领会并发编程之美。
我自己总结的Java学习的系统知识点以及面试问题，目前已经开源，会一直完善下去，欢迎建议和指导欢迎Star： https://github.com/Snailclimb/Java-Guide
针对海量的网络流量，转发性能是我们最关键的一个方面，那构建高性能的后台服务器有哪些关键的技术和需要注意的地方，今天邀请了后台开发同学童琳和郑胜利来和大家一起谈谈。 一、引言 随着互联网的高速发展，内容量的提升以及对内容智能的需求、云产业的快速突起，作为互联网的计算基石服务器的形态以及使用成为了炙手可热的话题，全球各家大型互联网公司都持续的在服务器平台上有非常大的动作，譬如facebook的OCP等，而整个服务器的生态链也得到了促进和发展。随着服务器硬件性能的提升和网络硬件的开放，传统PC机的处理性能甚者可
无锁编程，即通过CAS原子操作去控制线程的同步。如果你还不知道什么使CAS原子操作，建议先去查看相关资料，这一方面的资料网络上有很多。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
