在 Flink 1.12 中调度大规模作业时，需要大量的时间来初始化作业和部署任务。调度器还需要大量的堆内存来存储执行拓扑和主机临时部署描述符。例如，对于一个拓扑结构的作业，该作业包含两个与全对全边相连且并行度为 10k 的作业（这意味着有 10k 个源任务和 10k 个接收器任务，并且每个源任务都连接到所有接收器任务） ，Flink 的 JobManager 需要 30 GiB 的堆内存和超过 4 分钟的时间来部署所有任务。
青蛙见了蜈蚣，好奇地问："蜈蚣大哥，我很好奇，你那么多条腿，走路的时候先迈哪一条啊？"
在分析Alink源码的时候，发现Alink使用了 Java Stream，又去Flink源码搜索，发现Flink也有大量使用。一时兴起，想看看 Java Stream 和 Flink 这种流处理框架的异同点。当然这种比较还是注重于理念和设计思路上的。因为就应用领域和复杂程度来说， Java Stream 和 Flink 属于数量级别的差距。
作者：王刚，腾讯CSIG高级工程师 Flink 资源模型 / 调度设计 背景知识 首先，我们来简单回顾一下 Flink 作业的运行时模型，然后再来探讨在这种运行模型下，Flink 的资源模型和调度架构的设计和实现。 我们引用官网非常经典的一张图，来说明一个 Flink 流作业简化后的运行视图。 Tasks 和 Operator Chains （部分译自官网） 我们知道，一个 Flink 作业可以看做是由 Operators 组成的 DAG，一个 Operator 代表对数据流的进行的某个数据变化操作（ So
传统上，无论是基于 MapReduce 的数据流，还是基于 Spark/Flink 的流水线，其数据的来源和最终落脚点都可以是分布式存储（比如 GFS、HDFS、S3）。
翻译自 LinkedIn Unifies Stream and Batch Processing with Apache Beam 。
Beam提供了一套统一的API来处理两种数据处理模式（批和流），让我们只需要将注意力专注于在数据处理的算法上，而不用再花时间去对两种数据处理模式上的差异进行维护。
众多RISC精简指令集架构中，MIPS架构是最优雅的”舞者”。就连它的竞争者也为其强大的影响力所折服。DEC公司的Alpha指令集（现在已被放弃）和HP的Precision都受其影响。虽说，优雅不足以让其在残酷的市场中固若金汤，但是，MIPS架构还是以最简单的设计成为每一代CPU架构中，执行效率最快的那一个。
Apache Flink是由Apache软件基金会开发的开源流处理框架，其核心是用Java和Scala编写的分布式流数据流引擎。Flink以数据并行和流水线方式执行任意流数据程序，Flink的流水线运行时系统可以执行批处理和流处理程序。此外，Flink的运行时本身也支持迭代算法的执行。百度百科
Parameter sharding 就是把模型参数等切分到各个GPU之上，以此达到使用较少GPU实现大规模模型训练的目的。本系列会以 Google，微软和Facebook的论文，博客以及代码来对parameter sharding 进行分析，大约有 5～6篇文章。
我们通常说的Flink是来Apache Flink，他是由Apache软件基金会开发的开源流处理框架，其核心是用Java和Scala编写的分布式流数据流引擎。Flink以数据并行和流水线方式执行任意流数据程序，Flink的流水线运行时系统可以执行批处理和流处理程序。此外，Flink的运行时本身也支持迭代算法的执行。现在越来越多的企业公司和个人都在使用Flink，来使用他的特性解决一些实时问题。
通过前面几篇文章，我们一起学习了分布式计算模式中的 MapReduce、Stream 和 Actor，它们各显神通解决了很多实际问题（分布式计算技术MapReduce 详细解读，分布式计算技术之流计算Stream，打通实时数据处理）。
流水线技术是提升性能的银弹吗？它通过把一条指令的操作切分成更细的多步，可避免CPU“浪费”。每个细分的流水线步骤都很简单，单个时钟周期时间就可设得更短，变相让CPU主频提升很快。
Erda Pipeline 是一款自研、用 Go 编写的工作流引擎。作为基础服务，它在 Erda 内部支撑了许多产品：
本文转载自：https://blog.csdn.net/qq_32092885/article/details/83349275
流水线技术是一种将每条指令分解为多步，并让各步操作重叠，从而实现几条指令并行处理的技术。程序中的指令仍是一条条顺序执行，但可以预先取若干条指令，并在当前指令尚未执行完时，提前启动后续指令的另一些操作步骤。这样显然可加速一段程序的运行过程。 市场上推出的各种不同的1 6位/ 3 2位微处理器基本上都采用了流水线技术。如8 0 4 8 6和P e n t i u m均使用了6步流水线结构，流水线的6步为： ( 1 ) 取指令。C P U从高速缓存或内存中取一条指令。 ( 2 ) 指令译码。分析指令性质。 ( 3 ) 地址生成。很多指令要访问存储器中的操作数，操作数的地址也许在指令字中，也许要经过某些运算得到。 ( 4 ) 取操作数。当指令需要操作数时，就需再访问存储器，对操作数寻址并读出。 ( 5 ) 执行指令。由A L U执行指令规定的操作。 ( 6 ) 存储或"写回"结果。最后运算结果存放至某一内存单元或写回累加器A。 在理想情况下，每步需要一个时钟周期。当流水线完全装满时，每个时钟周期平均有一条指令从流水线上执行完毕，输出结果，就像轿车从组装线上开出来一样。P e n t i u m、Pentium Pro和Pentium II处理器的超标量设计更是分别结合了两条和三条独立的指令流水线，每条流水线平均在一个时钟周期内执行一条指令，所以它们平均一个时钟周期分别可执行2条和3条指令。 流水线技术是通过增加计算机硬件来实现的。例如要能预取指令，就需要增加取指令的硬件电路，并把取来的指令存放到指令队列缓存器中，使M P U能同时进行取指令和分析、执行指令的操作。因此，在1 6位/3 2位微处理器中一般含有两个算术逻辑单元A L U，一个主A L U用于执行指令，另一个A L U专用于地址生成，这样才可使地址计算与其它操作重叠进行。
甄建勇，高级架构师（某国际大厂），十年以上半导体从业经验。主要研究领域:CPU/GPU/NPU架构与微架构设计。感兴趣领域:经济学、心理学、哲学。
Flink中的执行资源是通过任务槽定义。每个TaskManager都有一个或多个任务槽，每个任务槽可以运行一个并行任务的流水线(pipeline)。流水线由多个连续的任务组成，例如 MapFunction 的第n个并行实例和 ReduceFunction 的第n个并行实例。请注意，Flink经常同时执行连续的任务：对于流式处理程序时刻发生，但是对于批处理程序来说却是经常发生。
欢迎使用微信云托管，本文将带领你通过云托管创建一个服务，并在小程序和 WEB 端调用此服务（以 Python 为例），本系列会继续更新 PHP、Golang 等其他语言的部署教程（当然，你也可以使用云托管的一键部署功能，基于 Python 语言 Django 或 Flask 框架部署一个服务）。
cpu基本想到的是计算，因此有算数计算，还有逻辑计算单元以及移位简单的运算；fp运算单独拿出；要运算就需要输入数字，因此有寄存器组，即通用寄存器组，可以程序改变的比如，把某个数置到被加数的寄存器中；还有表示一些状态的专用寄存器比如进位了，这些只能有cpu自己决定，不能程序改变；
【Flink】第四篇：【迷思】对update语义拆解D-、I+后造成update原子性丢失
讲者：Aniket Mokashi，工程经理 @谷歌；Dagang Wei，软件工程师 @谷歌
1.我们知道，CPU是电脑的中央处理单元，CPU到底是怎么连续的执行指令的。我们以MIPS为例，探究一下。
Apache Flink 是一个框架和分布式处理引擎，用于在无边界和有边界数据流上进行有状态的计算。Flink 能在所有常见集群环境中运行，并能以内存速度和任意规模进行计算。
为什么Intel处理器主频这么高，而AMD处理器主频都很低？是不是AMD处理器性能不如Intel？我们一般的回答都是，因为Intel处理器与AMD处理器内部构架不同，所以导致了这种情况，还有一种具体一点的回答就是因为Intel处理器流水线长，那到底流水线与CPU主频具体有什么关系呢？今天给大家带来一篇我以前刊登在《电脑报》硬件板块技术大讲堂版面的一篇原创文章。 关于CPU流水线的知识，很多报纸杂志都介绍过了，但以往的很多文章对某些问题的解释不够清楚，比如报纸杂志上曾多次提及增加流水线级数有利于提高CPU主频，但对其原因的解释却少有触及，又比如对于流水线的级数与其周期的关系是什么？CPU流水线与工厂流水线的区别和联系等问题的解释也不够清楚，本文将带领您找到以上问题的答案。关于流水线的基本原理本文就不再说明了，对于增加流水线级数有利于提升CPU主频这一观点笔者将通过理论论证和事实举例两方面对其进行解释说明。 我们先对流水线的级数与其周期的关系给出一个公式，一个k级流水线，处理n个任务总共需要花费“k+(n-1)”个周期，这是因为先是处理第一个任务就需要k个时钟周期，k个周期后流水线被装满，剩余n－1个任务只需n-1个周期就能完成。如果同样数量的n个任务不采用流水线处理，那么就需要n＊k个周期，我们把两者做比，得到另一个概念，叫做流水线加速比C，所以C＝n*k / [k+(n-1)]，当n远远大于k时，C的值趋进于k，也就是说，理论上k级流水线几乎可以提高k倍速度，但这仅限于理论。看到这也许有的读者可能会感到一头雾水，不用急，下面就将举例对其进一步说明。 举例前先对流水线周期选取的问题进行一下解析，我们假设一辆成品车的生产过程分为车轮生产，车门生产，最后组装三个步骤，每辆车的车轮生产需要8s,车门需要12s，而最后的组装需要10s，在本例中生产厂商针对此情况设计了1条3级流水线，分别是车轮生产流水线，车门生产流水线以及组装流水线，整条流水线的周期选取为12s，注意，在此为什么设置整条流水线的周期为三个步骤中最长的12s呢？其实在现实生产中由于工艺水平，原料特性以及制造难度的不同，每级流水线完成任务的时间都可能是不同的，这里如果选择8s或10s为整条流水线的周期将会导致车门生产线的任务不能在单位周期内完成，也就无法及时向下一级提交任务，所以在k级流水线中只能选择完成任务所需时间最常的那级流水线的时间作为整条流水线的周期。此例虽然选取12s为整条流水线的周期，但这样又带来了另一个问题，在每个周期内车轮流水线与组装流水线为了等待车门流水线而造成了一定时间上的闲置，具体到CPU内部的流水线也同样存在这个问题，当然我们可以通过合理分配流水线和增加缓存来缓解此问题，但缓存的增加必然导致信号的延迟和高功耗高发热量！ 好，我们回到上例，厂商打算在此3级流水线上生产6辆汽车，流水线周期为12s（流水线的周期选取可参看上文），模拟流程如图1，从图上可以看到，6辆汽车一共花费了9－1＝8个周期，此结果也印证了上文n个任务总共需花费“k+(n-1)”个周期的公式，此3级流水线生产6辆汽车一共花费的时间是12＊8＝96s。 一段时间后，厂商决定进行技术改革，又把车轮生产线车门生产线以及组装生产线进一步细分，把流水线的级数由3条增至6条，改革后的6级流水线周期也从12s缩短至6s，（由于细分了各级流水线，所以在此假设每级流水线周期也由原来的8s，12s，10s减半，所以新流水线的周期选取为12s／2s＝6s），新流水线生产6辆汽车所花费的周期为12－1＝11，所花费的整体时间为11＊6＝66s，相对于上例的96s提升了30s，至此，我们已从理论上和实际上找到了增加流水线级数确实可以提高工作效率的依据，相信大家已经对流水线的知识有了更进一步的了解，这里还要对一些问题进一步说明。 1流水线级数与频率的关系 结合上文对周期设置的解释和两个例子的对比大家可以发现，只要进一步细分流水线增加其级数，就可以使整条流水线采用更短的周期工作，我们又知道频率等于周期的倒数，由此我们得出结论，增加流水线级数有利于提高各级流水线之间交换任务的频率，也就是有利于提高CPU的主频。 2增加流水线级数为什么能提升工作效率 我们对车辆1进行跟踪测试，其在3级流水线上的生产时间为8s+12s+10s=30s,同样是车辆1在6级流水线上的生产时间为4s+4s+6s+6s+5s+5s=30s，由此我们发现无论对于几级流水线，单个产品的生产时间并没有因流水线级数而改变，既然这样那流水线是通过什么方式提升工作效率的？右图模拟的是不采用流水线时一辆汽车的生产流程，由3个工人分别负责完成3个任务，从图上可以明确看到在每段时间内只有一个工人在工作，其余两个处于闲置状态，对比上例的两个图示我们发现流水线正是充分利用了这段闲置的时间，所以才在单位时
采用单缓冲区时，由于将盘块读入缓冲区与将数据从缓冲区转到用户区，都要用到同一个缓冲区，所以只能把这两步作为一个段，计算方式：16+5+1+（10-1）*（16+5）=211
Apache Flink是一个框架和分布式处理引擎，用于对无界和有界数据流进行状态计算。 Flink设计为在所有常见的集群环境中运行，以内存速度和任何规模执行计算。
先描述下一般处理器的概念，维基百科的定义是 “In computing, a processor is an electronic circuit which performs operations on some external data source, usually memory or some other data stream”。最为常见的处理器有 CPU（可以运行任何程序）、GPU（图形图像处理）和 DSP(处理数字信号)，还有专门用来做 DNN 应用神经网络处理器。
为什么Intel处理器主频这么高，而AMD处理器主频都很低？是不是AMD处理器性能不如Intel？我们一般的回答都是，因为Intel处理器与AMD处理器内部构架不同，所以导致了这种情况，还有一种具体一点的回答就是因为Intel处理器流水线长，那到底流水线与CPU主频具体有什么关系呢？今天给大家带来一篇我以前刊登在《电脑报》硬件板块技术大讲堂版面的一篇原创文章。
来源 | OpenAI 编译 | 黄楠 编辑 | 陈彩娴 大型神经网络是当前人工智能领域的热门话题之一，那么，如何训练大模型？ 最近，曾推出大规模预训练模型 GPT-3 的 OpenAI 发表了一篇博文，介绍了基于 GPU 的四种节省内存的并行训练方法，分别是： 数据并行——在不同的 GPU 上运行同一批次的不同子集； 流水线并行——在不同的 GPU 上运行模型的不同层； 张量并行——分解单个运算的数学运算，例如将矩阵乘法拆分到 GPU 上； 专家混合（MOE）——仅通过每层的一小部分处理每个示例。 图注
如果变量 V ，初次读取时是 A 值，并且在准备赋值的时候，检查到它仍然是 A 值，这样能否说明它的值，没有被其他线程修改过？答案是否定的，因为在这段时间内，它的值可能被更改为其他的值，然后又改回成了 A 值，那 CAS 操作就会误认为它从来没有被修改过。这个问题，被称为 CAS 操作的 ABA 问题。
译自 Stream Processing 101: What’s Right for You? 。
1、 指令系统（1） image.png 2、 流水线（2 大概率） 流水线周期△t △t=执行时间最长的一段 流水线的吞吐率和最大吞吐率 image.png 流水线执行时间 公式： ① 理论公式：（t1+t2+...+tk）+（n-1）*△t ② 实践公式：（k+n-1）*△t 流水线加速比 image.png 3、 存储系统（1-2） 速度排序：CPU寄存器，cache，主存（内存），联机磁盘，光盘软盘 计算存储容量：末尾地址-首位地址+1，将寻址范围转换10进制再除1024 磁盘取数时间计算：单个数
摘要：传输协议可以在NIC(网卡)硬件中实现，以增加吞吐量、减少延迟并释放CPU周期。如果已知理想的传输协议，那么最佳的实现方法很简单：直接将它烧入到固定功能的硬件中。但是传输协议仍在发展，每年都有提出新的创新算法。最近的一项研究提出了Tonic，这是一种Verilog可编程硬件传输层。我们在这项工作的基础上提出了一种称为纳米传输层的新型可编程硬件传输层架构，该架构针对主导大型现代分布式数据中心应用中极低延迟的基于消息的 RPC（远程过程调用）进行了优化。Nano Transport使用P4语言进行编程，可以轻松修改硬件中的现有（或创建全新的）传输协议。我们识别常见事件和基本操作，允许流水化、模块化、可编程的流水线，包括分组、重组、超时和数据包生成，所有这些都由程序设计员来表达。
谷歌发布全新 TensorFlow 库“tf.Transform” 谷歌表示，tf.Transform 将改善 TensorFlow 的数据预处理和格式转化难题。 以下是谷歌对tf.Transform 的技术介绍： “今天我们正式发布 tf.Transform，一个基于 TensorFlow 的全新功能组件，它允许用户在大规模数据处理框架中定义预处理流水线（preprocessing pipelines），同时还可以将这些流水线导出，将其作为 TensorFlow 计算图（TensorFlow graph）
NVIDIA Megatron 是一个基于 PyTorch 的分布式训练框架，用来训练超大Transformer语言模型，其通过综合应用了数据并行，Tensor并行和Pipeline并行来复现 GPT3，值得我们深入分析其背后机理。
分支和循环是最常见的控制流形式。由于控制条件的存在，总有一部分代码片段会执行，另一部分不会执行。
我们经常会听到分支预测失败或者虚函数调用会影响计算性能，那么为什么它们会影响性能呢？带着这个疑问，我最近也看了一些博客和论文，这里结合之前看的一些点，整体做一个总结，和大家一起学习。
最近阅读了一些关于CPU的资料，自感收获颇丰。本文算是读后感，整理出来和大家分享。 CPU Pipeline 严格讲我不是CS专业，不清楚CS本科是否需要学习CPU架构。或者说，在这个软件高度集成的时
NVIDIA Jetson平台通过全球最全面的人工智能软件堆栈和生态系统，实现了对边缘人工智能和机器人应用开发的广泛访问。它集成了可扩展的平台软件、现代化的人工智能堆栈、灵活的微服务和API、ROS包以及特定应用的人工智能工作流程。在本次讲座中，您将学习到使用新升级的NVIDIA Jetson软件堆栈加快开发视觉人工智能和工业机器人应用的技能。
程序的性能=指令数×CPI×时钟周期，和周期相关的只有一个时钟周期，即CPU主频的倒数。 一个CPU的时钟周期可以认为是可以完成一条最简单的计算机指令的时间。
前段meldown漏洞事件的影响，那段时间也正好在读Paul的论文关于内存屏障的知识，其中有诸多细节想不通，便陷入无尽的煎熬和冥想中，看了《计算机系统结构》、《深入理解计算机系统》、《大话处理器》等经典书籍，也在google上搜了一大堆资料，前前后后、断断续续地折腾了一个多月，终于想通了，现在把自己的思想心得记录下来，希望对有这方面困惑的朋友有些帮助。
在之前的两篇文章中，在 程序是如何在 CPU 中运行的（一）中讲述了一条一条指令和数据是如何在 CPU 中被运行的，在 程序是如何在 CPU 中运行的 （二）中以 PC 寄存器为中心，从汇编语言的角度阐述了程序是如何在 CPU 中有序执行的，该篇文章讲述流水线机制在 CPU 中的应用。
处理器会自动保证基本的内存操作的原子性。处理器保证从系统内存中读取或者写入一个字节是原子的，即：当一个处理器读取一个字节时，其他处理器不能访问这个字节的内存地址。
试验 Azure DevOps 随着 Azure DevOps 生态系统的不断发展，我们的团队正在更多的使用它，并取得了成功。这些服务包含一组托管服务，包括托管 Git 代码仓库、构建和部署流水线、自动化测试工具、待办工作管理工具和构件仓库。我们已经看到我们的团队在使用该平台时获得了良好的体验，这意味着 Azure DevOps正在走向成熟。我们特别喜欢它的灵活性；它甚至允许用户使用来自不同供应商的服务。例如，你可以在使用 Azure DevOps的流水线服务的同时也使用一个外部 Git 数据仓库。我们的团
前几篇文章我们介绍了 PyTorch 流水线并行的基本知识，自动平衡机制和切分数据，本文我们结合论文内容来看看如何保证前向计算执行顺序。
一，CPU主频： 这是一个最受新手关注的指标，指的就是CPU内核工作的时钟频率（CPU Clock Speed）。通常所说的某款CPU是多少兆赫兹的，而这个多少兆赫兹就是“CPU的主频”。在学校经常听见一些人问，XXX网吧的CPU2.66G！XXX网吧的才2G，有人用2.66G的赛扬与2.0G-2.66G的P4比，这是无知的表现，和他们争是无意义的：）。主频虽与CPU速度有关系，但确对不是绝对的正比关系，因为CPU的运算速度还要看CPU流水线（流水线下面介绍）的各方面性能指标（缓存、指令集，CPU位数等）。因此主频不代表CPU的整体性能，但提高主频对于提高CPU运算速度却是至关重要的。主频的计算公式为：主频＝外频*倍频。
Apache Flink 是由 Apache 软件基金会开发的开源流处理框架，其核心是用 Java 和 Scala 编写的分布式流数据流引擎。Flink 以数据并行和流水线方式执行任意流数据程序，Flink 的 流水线运行时系统可以执行批处理和流处理程序。此外，Flink 的运行时本身也支持迭代算 法的执行。
一种提升性能的方法叫 "指令流水线"，想象下你要洗一整个酒店的床单，但只有 1 个洗衣机, 1 个干燥机。
一说到计算机架构（Computer Architecture），大家可能会有疑问：计算机架构到底是个什么东西？引用维基百科对计算机架构的定义：
领取专属 10元无门槛券
手把手带您无忧上云
