过去二十年来，我们对软件开发的理解有了大幅提升。其中一大部分原因是 DevOps 概念的出现及其在软件开发行业的广泛应用。 领先的软件公司都遵循着同样的模式：首先是在软件开发过程中快速迭代，然后进行持续集成、持续交付、持续部署。每个特性都要经过测试，看其提供价值的能力如何，而且软件始终要处于就绪的状态，并且通过自动化方法进行部署。 机器学习这个领域虽不同于传统的软件开发，但我们也能从软件开发行业汲取很多实用的经验教训。过去几年里，我们一直在开发生产型机器学习项目。我们的目标并不只是概念验证，而是与软件开发一样的可复现能力（reproducibility）。因此，我们构建了一套流程协调器、强大的自动化能力并建立了一套用于实现该目标的工作流程。 为什么不直接使用 Jupyter Notebook？从头开始构建一组包含所有处理步骤的笔记需要多长时间？为团队纳入新成员的难易程度如何？你现在可以复现两个月前的结果吗？能以多快的速度复现？你能将今天的结果和历史结果进行对比吗？你能在训练过程中关注到数据的出处吗？如果你的模型过时了又会发生什么？ 我们遇到过所有这些问题。现在，我们将这些经验进行了归纳总结，得到了成功构建生产型机器学习的 12 个要素（类似于软件开发中的十二要素应用/12 factor app）。
在以模型为中心的AI开发中，数据集通常是固定的和给定的，重点是迭代模型结构或训练程序以提高性能。这推动了建模方面的大量研究进展，而现在在许多任务中，改进模型的增量收益正在减少。
选自maiot blog 作者：Benedikt Koller 机器之心编译 编辑：Panda、张倩 在机器学习社区，越来越多的人开始讨论研究的可复现性，但这些讨论大部分局限于学术环境。如何确保生产环境的ML可复现？近日，机器学习开发服务提供商 maiot.io 的 CTO Benedikt Koller 发布一篇博客文章，介绍了他基于自身经验总结的开发可复现生产级机器学习所要注意的 12 个要素。 过去二十年来，我们对软件开发的理解有了大幅提升。其中一大部分原因是 DevOps 概念的出现及其在软件开发
随着DevSecOps的使用日益增长，相关的工作机会也在增加。其中会不会有一个适合你？
GitLab 12.1 已经发布，更新如下： 合并训练的并行执行策略 ：加强了合并 TRAINS，以使用并行策略执行流水线，并行执行通过按顺序排列合并请求并启动受控的并行管道来加速验证。 合并机密问题
3 流程概览表 步骤名称 业务条件 角色 事务代码 预期结果 过帐管道资源物料的发货 发货已在系统中创建 仓库管理员 MIGO_GI 根据计划协议过帐收货 从管道资源提取收到发票 已在系统中过帐发票
在tecent_recruit文件夹下找到spiders文件夹， 在此处打开cmd窗口输入命令：scrapy genspider catch_positon tencent.com 创建名为“catch_positon"的爬虫文件
Argon（现在是 Aqua Security 的一部分）曾经联系 CIS（Center for Internete Security），建议为软件供应链安全开发一种 CIS 基线。多年以来，CIS 开发并发布了很多安全配置指南，但是软件供应链安全方面还是一个空白。现代软件开发过程中会涉及大量的平台和技术，软件供应链安全的工作范围应该有多大？如何保证基线能够在多种平台中保持一致？
敏捷架构是一组价值观，实践和协作，支持系统的主动，进化设计和架构。这种方法包含DevOps思维模式，允许系统架构随着时间的推移不断发展，同时支持当前用户的需求。它避免了与启动 - 停止 - 启动性质相关的开销和延迟，以及相位门过程和Big Up Front Design（BUFD）固有的大规模重新设计。
DevOps 和敏捷方法论改变了软件的开发、构建和迭代方式。CI/CD 管道的落地使得开发和运维团队能够以创纪录的速度进行代码迭代、Bug修复、发布功能并交付产品。
Jenkins服务器最初以Hudson的形式于2004年创建。Jenkins在软件开发和交付中已成为我们许多人的家喻户晓的名字，并且是CI + CD工具的领导者。迄今为止，Jenkins的工作已超过2050万，并且正在运行近20万的Jenkins服务器。这是多么惊人的数字哇！
Autodesk AutoCAD 2021 Mac官方版本现已发布，并且本机支持中文语言。AutoCAD是世界知名的用于二维绘图、细节绘制、设计文档和基本三维设计的专业计算机辅助设计软件，广泛应用于机械设计、工业制图、工程制图、土木建筑、装饰装潢、服装加工等行业。借助于 AutodeskAutoCAD绘图软件，您可以与客户精确地分享设计数据，您可以感受到本地 DWG格式的强大优势。DWG是行业中使用最广泛的设计数据格式之一，通过它，您可以使所有人都知道您最新的设计决策。AutoCAD支持图形演示、绘制工具和强大的绘图和三维打印功能，使您的设计更加出色。
开源的 Java Web 应用服务器，实现了 Java EE（Java Platform Enterprise Edition）的部分技术规范，比如 Java Servlet、Java Server Page、JSTL、Java WebSocket。Java EE 是 Sun 公 司为企业级应用推出的标准平台，定义了一系列用于企业级开发的技术规范，除了上述的之外，还有 EJB、Java Mail、JPA、JTA、JMS 等，而这些都依赖具体容器的实现。
原文链接：https://medium.com/@jdrawlings/serverless-jenkins-with-jenkins-x-9134cbfe6870
Drone by Harness™ 是一个基于Docker容器技术的可扩展的持续集成引擎，用于自动化测试、构建、发布。每个构建都在一个临时的Docker容器中执行，使开发人员能够完全控制其构建环境并保证隔离。开发者只需在项目中包含 .drone.yml文件，将代码推送到 git 仓库，Drone就能够自动化的进行编译、测试、发布。可以与Docker完美集成。
0x00 PowerShell的内网渗透之旅 内网渗透一直以来都是一个热门话题，试想在一个大型的内网环境下，当我们拿到了内网windows机器后，该如何通过他们去获取更多的所需资源，这就需要进行内网渗透了。然而在内网渗透中，除了kali、metasploit等高能的存在以外，还有一款神器也常常容易遭到忽略----PowerShell，因此本次学习将从PowerShell基础语法切入以及利用PowerShell脚本实现的PowerSploit框架演示内网渗透实例。 0x01 PowerShell简介及特性
匿名管道只能用来进行进程间通信，让具有血缘关系的进程进行通信 让毫不相关的进程之间进行通信，就需要采用命名管道通信
我们在《Linux系统》一书中介绍过yum的配置，是把光盘作为安装源操作的，配置文件在/etc/yum.repos.d/下，以.repo结尾。其实yum可以设置多个repo文件，即从多个源上下载、查找安装包。本章就来介绍一下有几种镜像源可以设置。
This lab will familiarize you with xv6 and its system calls.
在过去几年中，持续集成和持续交付一直是许多敏捷软件开发团队的首要任务。它被认为是建立DevOps实践的基础，大多数组织将其视为实现快速可靠的软件交付的关键推动力。
在Jenkins中实现CI / CD的方法有很多，例如Blue Ocean，Free Style项目和Declarative Pipeline。在本文中，我将解释如何使用带有声明式管道的Jenkins自动化集成和部署过程。我试图用.net核心应用程序明确解释所有步骤。
GitLab CI/CD 是一个内置在 GitLab 中的工具，用于通过持续方法进行软件开发：
游戏界面中有三样元素，分别是“小鸟”，“障碍”，和“计分器”，我们依次来创建相应的对象。
xv6中提供有sh.c的实现，除了重定向和管道，还对括号、列表命令、后台命令等做了支持，且整体设计较为复杂。所以我们无需过多参考已有代码，可以选择简单的思路来满足需求，在完成后再去阅读xv6的shell实现。
今天给大家介绍的是由美国加州理工学院生物与生物工程系的David Van Valen、斯坦福大学病理学系的Michael Angelo等研究人员在《Nature Biotechnology》上发表的研究成果。组织成像数据的分析中一个主要挑战是细胞分割，即识别图像中每个细胞的精确边界的任务。在这篇文章中，为了解决这个问题，作者首先构建了一个用于训练分割模型的数据集TissueNet，这其中包括了一百多万个手动标记的细胞。然后作者用TisseNet训练了一种基于深度学习的分割算法Mesmer。通过实验表明，Mesmer比以往的方法更加准确，它能够概括TissueNet中组织类型和成像平台的全部多样性，并且达到了人类水平的表现。Mesmer还能够自动提取关键的细胞特征，如蛋白质信号的亚细胞定位。作者之后对Mesmer进行调整从而使其能够在高度复用的数据集中利用细胞谱系信息，并且还利用这个增强的版本量化了人类妊娠期间细胞形态的变化。
并行化、断点续分析、输出集合、基于阴性对照识别污染、宏基因组学工作流程(即将推出！)
Jenkins 是最流行的，开源的，基于 Java 的自动化服务器，它允许你很容易的设置一个持续集成和持续发布的管道。
2. 字段编辑。注意事项： 1）此处不要手动加入外键字段。稍后在介绍ER图时，通过工具自动添加外键字段。 2）非外键字段要有类型前缀 3）PK=主键;NN=非空;UQ=唯一;BIN=二进制流;UN=正整数;AI=自增 4）当字段为字符串时，在3.处可以选择编码格式 5）字段应在4.处添加中文注释，描述其意义。如果是类型、权制等通过数字表述意义的，应说明数值与意义的对应关系。
随着公司规模的增长，业务越来越复杂，运维的场景越来越多，对运维自动化的要求也越来越高。事物的发展不是孤立的，运维也不例外，运维的发展过程大致可以分为：手动运维->自动运维-> DevOps ->智能运维。我们希望在已有的 OPS 运维平台的基础上再向前迈进一步，构建基于事件驱动的自动化运维平台。
Shell脚本应用（shell脚本基础与shell变量）发布于2018-06-20 12:49:46阅读 2520 1、shell：命令解释器1）可支持的shell保存在/etc/shells中2）默认shell为/bin/bash2、shell脚本编写：1）使用vi编辑器2）每行一条命令，依次执行3）赋予可执行权限（x）3、执行方式：1）脚本文件路径：有两种，相对和绝对路径，必须有x权限2）Sh脚本文件路径：无须x权限，相对和绝对路径都可以，在子shell上3）Source（或 .）脚本文件路径：无须x权
来源丨 www.cnblogs.com/cjsblog/p/12256843.html
Go 的发展历史 诞生与历史 诞生于2006年1月2日15点4分5秒 2009年发布并正式开源 2012年发布第一个正式版本Go 1.0 截至当前2020年8月 Go版本到1.15 Go开发环境搭建 Go语言环境 下载地址： https://studygolang.com/dl 选择适合自己的平台去选择对应的安装包并安装 git 下载地址： https://git-scm.com/downloads Goland编辑器 官方下载地址：https://www.jetbrains.com/go/ 破解版参考地址
引言 这是来自John Snow Labs工程团队的社区博客和工作，解释了他们对开源Apache Spark自然语言处理（NLP）库的贡献。 Apache Spark是一个通用的集群计算框架，它支持分布式SQL，流式处理，图处理和机器学习。现在，Spark生态系统还有一个Spark Natural Language Processing库。 John Snow Labs NLP库是在Scala编写的Apache 2.0以上，不依赖于其他NLP或ML库。它本地扩展了Spark ML管道API。该框架提供了
Autodesk AutoCAD 2021 Mac知识兔官方版本知识兔现已发布，并且本机支持中文语言。AutoCAD是知识兔知识兔世界知名的用于二维绘图、细知识兔节绘制、设计文档和基本三维设计的专知识兔业计算机辅助设计软件，广泛应用知识兔于机械设计、工业制图、知识兔工程制图、土木建筑、装饰装潢、服装加工等行业。借知识兔助于 AutodeskAutoCAD知识兔绘图软件，您可以与客户精确地分享设知识兔计知识兔数据，您可以感受到本地 DWG格式的强大优势。DWG是知知识兔识兔知识兔行业中使用最广泛的知识兔设计数据格式之一，通过它，您可以使所有人都知道您最新的设计决策。AutoCAD支持图知识兔形演示、绘制工具和强大的绘图和三维打知识兔印功能，知识兔使您的设计更加出色。
ps aux|grep python|grep -v grep|cut -c 9-15|xargs kill -15
启动管道脚本时，Nextflow将在当前目录和脚本基本目录（如果与当前目录不同）中查找一个名为nextflow.config的文件。最后，它检查文件 $HOME/.nextflow/config。
转自：wh_19910525 https://blog.csdn.net/wh_19910525/article/details/8125762
GitHub上，大型开源项目需要解决的问题多得吓人。为了更容易地发现最紧迫的问题，GitHub最近引入了“好问题优先”的功能，将贡献者与可能符合他们兴趣的问题进行匹配。最初的版本于2019年5月发布，可以根据项目维护者对问题应用的标签提出建议。上个月发布了更新版本，该版本包含一个人工智能算法。GitHub指出，这是GitHub.com上推出的第一款支持深度学习的产品。
数据平台已经彻底改变了公司存储、分析和使用数据的方式——但为了更有效地使用它们，它们需要可靠、高性能和透明。数据在制定业务决策和评估产品或 Halodoc 功能的性能方面发挥着重要作用。作为印度尼西亚最大的在线医疗保健公司的数据工程师，我们面临的主要挑战之一是在整个组织内实现数据民主化。Halodoc 的数据工程 (DE) 团队自成立以来一直使用现有的工具和服务来维护和处理大量且多样的数据，但随着业务的增长，我们的数据量也呈指数级增长，需要更多的处理资源。由于现代数据平台从不同的、多样化的系统中收集数据，很容易出现重复记录、错过更新等数据收集问题。为了解决这些问题，我们对数据平台进行了重新评估，并意识到架构债务随着时间的推移积累会导致大多数数据问题。我们数据平台的所有主要功能——提取、转换和存储都存在问题，导致整个数据平台存在质量问题。 现有数据平台 印尼医疗龙头企业Halodoc的数据平台转型之路：数据平台V1.0 在过去几年中为我们提供了很好的服务，但它的扩展性满足不了不断增长的业务需求。
本文整理自oneCup公司的研讨会 精准农业 美国养牛业价值 750 亿美元，其中包括超过 70 万个牧场、9300 万头肉牛和约 3600 万头小牛出生。但该行业并非没有挑战。2015 年，美国养牛业损失了近 390 万头牛和犊牛。幼犊受到的打击尤其严重，有 7% 的犊牛无法断奶。这对牧场产生了重大影响，耗资约 38.7 亿美元。养牛可能是一项全天候的工作，但牧场主无法负担人力资源来跟踪牛的健康和福利 24x7。 OneCup AI 的 BETSY 将通过使用 AI 帮助牧场主跟踪和监控他们的牲畜，让他
DevOps是IT行业的转折点。它是根据将“ 开发”和“运营 ”人员和流程整合在一起以形成稳定的运营环境的理念进行概念化的。这有助于提高操作速度并减少错误，从而优化成本，改善资源管理并增强最终产品。
1、shell：命令解释器 1）可支持的shell保存在/etc/shells中 2）默认shell为/bin/bash 2、shell脚本编写： 1）使用vi编辑器 2）每行一条命令，依次执行 3）赋予可执行权限（x） 3、执行方式： 1）脚本文件路径：有两种，相对和绝对路径，必须有x权限 2）Sh脚本文件路径：无须x权限，相对和绝对路径都可以，在子shell上 3）Source（或 .）脚本文件路径：无须x权限，在当前sell执行 4、脚本组成： 1）脚本声明：指定脚本执行的shell，以#！开头
1.Video-ChatGPT: Towards Detailed Video Understanding via Large Vision and Language Model
无论是系统运维，还是应用运维，均可分为“纯手工”—> “脚本化”—> “自动化”—>“智能化”几个阶段，其中自动化阶段，主要是将一些重复性人工操作和运维经验封装为程序或脚本，一方面避免重复性操作及风险，另一方面提高执行效率。在自动化运维的转变过程中，经常使用的可能就是shell脚本了，今天主要分享下shell脚本开发在运维工作中的一些经验总结。
GitOps是一组最佳实践和原则，将版本控制系统（例如 Git、GitHub、GitLab、BitBucket）视为中央存储库或单一事实来源，以声明方式代码存储，然后将其用于部署。
俗话说，站在巨人的肩膀上看世界，一般学习的时候也是先总览一下整体，然后逐个部分个个击破，最后形成思路，了解具体细节，Tomcat的结构很复杂，但是 Tomcat 非常的模块化，找到了 Tomcat最核心的模块，问题才可以游刃而解，了解了Tomcat的整体架构对以后深入了解Tomcat来说至关重要！
请注意，本文编写于 1724 天前，最后修改于 993 天前，其中某些信息可能已经过时。
在软件开发中经常会提到 持续集成(Continuous Integration)（CI）和 持续交付(Continuous Delivery)（CD）这几个术语。但它们真正的意思是什么呢？
现代软件开发要求使用 CI/CD 作为 DevOps 的重要组成部分。使用正确的工具进行适当的自动化是高效交付管道的关键。以下是您需要了解的有关可扩展 CI/CD 管道的所有信息。
领取专属 10元无门槛券
手把手带您无忧上云
