今天的软件比 20 多年前的软件复杂了数个数量级，这给我们调试代码带来了新的挑战。幸运的是，通过在系统中实现可观测性，我们已经相当远程地理解了我们的应用程序正在执行什么以及问题正在发生在哪里。
前面我们已经学会如何使用Stream API，用起来真的很爽，但简洁的方法下面似乎隐藏着无尽的秘密，如此强大的API是如何实现的呢？Pipeline是怎么执行的，每次方法调用都会导致一次迭代吗？自动并行又是怎么做到的，线程个数是多少？本节我们学习Stream流水线的原理，这是Stream实现的关键所在。
前面我们已经学会如何使用Stream API，用起来真的很爽，但简洁的方法下面似乎隐藏着无尽的秘密，如此强大的API是如何实现的呢？比如Pipeline是怎么执行的，每次方法调用都会导致一次迭代吗？自动并行又是怎么做到的，线程个数是多少？本节我们学习Stream流水线的原理，这是Stream实现的关键所在。
和迭代器类似， 流只能遍历一次。 遍历完之后， 我们就说这个流已经被消费掉了。 你可以从原始数据源那里再获得一个新的流来重新遍历一遍， 就像迭代器一样（ 这里假设它是集合之类的可重复的源， 如果是 I/ O 通道就没戏了）。 例如， 以下代码会抛出一个异常， 说流已被消费掉了：
github.com/CarpenterLee/JavaLambdaInternals
第一次听到RISC-V这个词大概是两年前，当时觉得它也就是和MIPS这些CPU架构没什么区别，因此也就不以为然了。直到去年，RISC-V这个词开始频繁地出现在微信和其他网站上，此时我再也不能无动于衷了，于是开始在网上搜索有关它的资料，开始知道有SiFive这个网站，知道SiFive出了好几款RISC-V的开发板。可是最便宜的那一块开发板都要700多RMB，最后还是忍痛出手了一块。由于平时上班比较忙，所以玩这块板子的时间并不多，也就是晚上下班后和周末玩玩，自己照着芯片手册写了几个例程在板子上跑跑而已。
在这篇简单的教程中，你将会学习到 Jenkins 的流水线即代码，以及如何开发流水线脚本的指导。 Jenkins 是一个开源持续集成服务器，它可以提供持续执行自动化构建和测试的能力。Jenkins 可以控制和监控多种任务，包括：拉取代码、静态代码分析、构建工程、执行单元测试、自动化或者性能测试，最后部署应用。这些任务通常是一个持续部署流水线。 流水线（Pipeline）是 Jenkins 的一套插件。流水线可以认为是执行任务的一系列阶段，它可以持续地发布你的应用。“持续”的概念是相对于你的应用环境来说的
Golang作为一个实用主义的编程语言，非常注重性能，在语言特性上天然支持并发，它有多种并发模型，通过流水线模型系列文章，你会更好的使用Golang并发特性，提高你的程序性能。
DevOps的核心是自动化，自动化的核心是标准化。而DevOps最重要的一环节是持续交付，持续交付中建设的重点是流水线，所以如何打造标准的持续交付流水线则为DevOps建设中最重要的一环，也是评估DevOps能力的一个重要的打分点。
Java Lambda表达式的一个重要用法是简化某些匿名内部类（Anonymous Classes）的写法。实际上Lambda表达式并不仅仅是匿名内部类的语法糖，JVM内部是通过invokedynamic指令来实现Lambda表达式的。具体原理放到下一篇。本篇我们首先感受一下使用Lambda表达式带来的便利之处。
本帖讲解第一节 Basic Quantopian Lessons，旨在说明如何使用 Quantopian 的研究环境和回测环境。目录如下：
编者按：此文由AI科技评论独家编译，未经许可拒绝转载。此白皮书为谷歌总结的机器学习（ML）最优实践方法，浓缩了其多年技术积累与经验，尤其是 Youtube、Google Play 和 Google+ 等平台背后的 ML 算法开发、维护经历。谷歌于白皮书中总结了四十三条 ML 黄金法则，旨在帮助已经掌握了基础知识的开发者少走弯路。鉴于其珍贵程度与技术性，AI科技评论逐条做了严格尊重原文的翻译。若你已学习过机器学习课程，抑或有开发 ML 模型的经验，那么应当具备足够的背景知识理解这篇文章。 术语 以下是对文
该系列总览: Hadoop3.1.1架构体系——设计原理阐述与Client源码图文详解 : 总览
在今年的敏捷团队建设中，我通过Suite执行器实现了一键自动化单元测试。Juint除了Suite执行器还有哪些执行器呢？由此我的Runner探索之旅开始了！
流是Java API的新成员，它允许你以声明性方式处理数据集合(通过查询语句来表达，而不是临时编写一个实现)。就现在来说，我们可以把它们看成遍历数据集的高级迭代器。
说起来好像很啰嗦,但是如果有人告诉你 通过sin(x) 计算后, x的值被改变了,你不会觉得异常奇怪么
本篇主要分享对于Jenkins中Freestyle Project项目和pipeline项目的一些知识分享。如果我们的Jenkins中安装了中文插件，那么它们可能会被翻译为：
DevOps 通过自动化“软件交付”和“架构变更”的流程，使得构建、测试、发布软件能够更加快捷、频繁和可靠。
CI/CD 的出现改变了开发人员和测试人员发布软件的方式。本文是描述这一变化的系列文章第一篇， 这些文章将提供各种工具和流程的讲解，以帮助开发人员更好的使用 CI/CD。
这篇文章将介绍我在 Jenkins 上遇到的一些常见问题，以及如何通过开发通用 Webhook 触发插件来解决这些问题。
前一篇文章《Golang并发模型：轻松入门流水线模型》，介绍了流水线模型的概念，这篇文章是流水线模型进阶，介绍FAN-IN和FAN-OUT，FAN模式可以让我们的流水线模型更好的利用Golang并发，提高软件性能。但FAN模式不一定是万能，不见得能提高程序的性能，甚至还不如普通的流水线。我们先介绍下FAN模式，再看看它怎么提升性能的，它是不是万能的。
本节是建立在 流水线入门内容的基础上，而且，应当被当作一个参考。 对于在实际示例中如何使用流水线语法的更多信息, 请参阅本章在流水线插件的2.5版本中的 使用 Jenkinsfile部分, 流水线支持两种离散的语法，具体如下对于每种的优缺点, 参见语法比较。
为使每条数据各特征值的和为1，使用sklearn.preprocessing.Normalizer。
在上贴〖Quantopian 系列一〗我们初探了的流水线（pipeline），本帖我们就把它揉碎了讲。
默认情况下，HTTP 请求是按顺序发出的。下一个请求只有在当前请求收到应答过后才会被发出。由于会受到网络延迟和带宽的限制，在下一个请求被发送到服务器之前，可能需要等待很长时间。
打开和保持连接影响网站和 Web 应用程序性能。在 HTTP/1.x 里有多种模型：短连接, 长连接, 和 HTTP 流水线。
进程的概念起源于操作系统，是操作系统最核心的概念，也是操作系统提供的最古老也是最重要的抽象概念之一。操作系统的其他所有内容都是围绕进程的概念展开的。
这个需求的意思是存在一条流水线，流水线中的阶段为：构建阶段 --> 代码扫描阶段 --> 发布测试环境阶段 --> ... 而提问者希望当有代码提交时，就执行整条流水线。当到某个时间点时，就只执行扫描阶段。
这篇论文对应的链接为：https://openreview.net/pdf?id=tuzTN0eIO5 ，最近被ICLR 2024接收，但不少AI Infra的同行已经发现了这个工作的价值，并且已经开源在 https://github.com/sail-sg/zero-bubble-pipeline-parallelism ，在一些AI Infra相关的地方也存在一些讨论和介绍。比如 https://www.zhihu.com/question/637480969/answer/3354692418
本人一直在从事企业内DevOps落地实践的工作，走了不少弯路，也努力在想办法解决面临的问题，期间也经历过不少人和事情，最近突然有想法把经历过的，不管好的不好的都记录下来，分享给和我一样的一线实践者。 我会通过一个个典型故事或场景来叙述，不谈理论，不谈技术, 只谈遇到的人和事，我和我的团队伙伴怎么解决实践中遇到的问题。
在 Flink 1.12 中调度大规模作业时，需要大量的时间来初始化作业和部署任务。调度器还需要大量的堆内存来存储执行拓扑和主机临时部署描述符。例如，对于一个拓扑结构的作业，该作业包含两个与全对全边相连且并行度为 10k 的作业（这意味着有 10k 个源任务和 10k 个接收器任务，并且每个源任务都连接到所有接收器任务） ，Flink 的 JobManager 需要 30 GiB 的堆内存和超过 4 分钟的时间来部署所有任务。
集合是Java中使用最多的API，几乎每个程序员天天都会和它打招呼，它可以让你把相同、相似、有关联的数据整合在一起，便于使用、提取以及运算等操作。在实际Java程序中，集合的使用往往随着业务需求、复杂度而变得更加复杂，在这其中将可能会涉及到更多的运算，如：求和、平均值、分组、过滤、排序等等。如何这些操作混合出现，又该如何实现？难道遍历、再遍历、再运算么？抛开性能因素，这些操作已经严重影响了代码的整洁，这种代码也没有几个人愿意来读。
堆(heap)和栈(stack) 在计算机领域，堆栈是一个不容忽视的概念，堆栈是两种数据结构。堆栈都是一种数据项按序排列的数据结构，只能在一端(称为栈顶(top))对数据项进行插入和删除。 在单片机应用中，堆栈是个特殊的存储区，主要功能是暂时存放数据和地址，通常用来保护断点和现场。要点：堆，队列优先,先进先出（FIFO—first in first out）。栈，先进后出(FILO—First-In/Last-Out) 堆栈是一种存储部件，即数据的写入跟读出不需要提供地址，而是根据写入的顺序
如果看不懂上面的意图介绍，没有关系，设计模式需要在日常工作里用起来，结合例子可以加深你的理解，下面我准备了三个例子，让你体会什么场景下会用到这种设计模式。
现在 Jenkins X 已经与Grafana[1]在可观察性[2]方面进行了坚实的集成，是时候开始构建有趣的东西了！
IDA动态调用手机apk，请参考：安卓逆向-从环境搭建到动态调试apk IDA部分https://www.freebuf.com/articles/mobile/285861.html
本人一直在从事企业内DevOps落地实践的工作，走了不少弯路，也努力在想办法解决面临的问题，期间也经历过不少人和事情，最近突然有想法把经历过的，不管好的不好的都记录下来，分享给和我一样的一线实践者。我会通过一个个典型故事或场景来叙述，不谈理论，不谈技术, 只谈遇到的人和事，我和我的团队伙伴怎么解决实践中遇到的问题。
如图所示为谷歌提出的流水线并行算法，名为 GPipe，论文位于 https://arxiv.org/abs/1811.06965。首先将模型切分为连续的多个 stage，每个 stage 占据一台设备，从而利用多台设备容纳下单设备无法容纳的模型。其次，GPipe 将 mini-batch 切分为多个 micro-batch，每次只处理一个 micro-batch。在处理完当个 micro-batch 后，该 micro-batch 的结果将会被发送给下一台设备，同时开始处理下一个 micro-batch。
CPU的工作过程就是不停的执行指令，计算机各个部分的所进行的工作可以说都是由CPU根据指令来启动的（指的是进入操作系统之后，纯硬件的话还是有南北桥）。因为CPU的速度太快，为了使CPU减少等待时间，甚至不参与计算机输入输出过程（等待时间太久），采取程序中断的方式和DMA的方式。这两种方式下，外部设备需要向CPU提出中断请求或DMA请求，因此在执行指令过程中，CPU还要按时通过采样相应的引脚来查询有没有中断请求或DMA请求。一般， 在一个机器 周期结束时，查询是否有DMA请求，如果有，则CPU脱离总线，由DMA控制器控制使用总线。在一个指令周期结束时，查询是否有中断请求，如果有，则进入中断响应机器周期，相当于执行了一条中断响应隐指令。在中断响应过程中，得到中断服务程序的入口地址，并送程序计数器(PC)中，下个指令周期开始时，取出中断服务程序的第一条指令 执行。
假设要构建一个系统来检查在线评论，识别正面和负面观点的问题被称为“情感分类”。为了构建该系统，可以构建两个组件的“流水线”：
从概念上讲，计算机的结构是总线型的：布置一根总线将各种硬件设备挂在总线（Bus）上。
并行性是指计算机系统具有可以同时进行运算或操作的特性，在同一时间完成两种或两种以上工作。并行性等级可以分为作业级或程序级、任务级或程序级、指令之间级和指令内部级。
Aegean是微服务下的备份方案，目的是在微服务架构下保持Replication的高效性。
用 Python 做到每秒处理上百万次 HTTP 请求，可能吗？也许不能，但直到最近，这已成为现实。
虽然放弃了通篇学习一整门语言，但是为了在声明式流水线中使用简单的逻辑操作还是需要学习一点Groovy的基础内容。
leanix在它的官网上对SaaS（Software as a Service)给出了一个很明了的图示。简单一点理解的话就是，SaaS是让使用者能通过网络, 比如基于浏览器，就能使用软件的各种功能。这个软件，通常是基于云架构运行着。所有和软件相关的服务，比如硬件及网络环境，服务器，数据储存等， 都由云的提供商管理。
摘要：传输协议可以在NIC(网卡)硬件中实现，以增加吞吐量、减少延迟并释放CPU周期。如果已知理想的传输协议，那么最佳的实现方法很简单：直接将它烧入到固定功能的硬件中。但是传输协议仍在发展，每年都有提出新的创新算法。最近的一项研究提出了Tonic，这是一种Verilog可编程硬件传输层。我们在这项工作的基础上提出了一种称为纳米传输层的新型可编程硬件传输层架构，该架构针对主导大型现代分布式数据中心应用中极低延迟的基于消息的 RPC（远程过程调用）进行了优化。Nano Transport使用P4语言进行编程，可以轻松修改硬件中的现有（或创建全新的）传输协议。我们识别常见事件和基本操作，允许流水化、模块化、可编程的流水线，包括分组、重组、超时和数据包生成，所有这些都由程序设计员来表达。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
