我认为我们当前所认知的 DevOps 即将走到尽头。至少,其中的 Ops 会如此。随着云基础设施成为应用程序关注的重点,越来越多的 ops 任务由云本身完成或内置于应用程序中。剩下的就是供应和管理应用程序所需的基础设施。这关系到所有的相关附属内容,例如安全性和网络。
不过这里值得注意的是,可以看到使用docker ps -a 并没有找到我们停止的容器,所以这里是将这个容器删除了,因为我们正常停止一个容器的时候,使用docker stop,但是在docker ps -a中,我们可以看到已经停止的容器,可以使用docker start 重新将它启动,但是这里是直接将这个容器删除
service 通常用作集群内服务之前的通信,ingress 通常用于暴露给集群外的服务使用。
我们使用 Jenkins 搭建持续交付流水线,和其他很多团队一样,这些年我们围绕 Jenkins 创建了很多工作流程和自动化。Jenkins 是我们团队取得成功的关键,让我们能够在上一季度顺利进入生产677次,搭建及部署时长平均为12分钟。
好久不写 devOps 代码,程序君感觉莫名手欠。最近看着一个开源项目 pulumi 比较有意思,这个周末就在自己的 aws 账号里作死尝试了一把,嗯,还挺香。究竟有多香呢,我们来一起探索吧。
最近我接到一个问题:“你是如何管理这么多 Kubernetes 的?”。本文试图揭示 Zalando 在 AWS 管理 140 多个 Kubernetes 集群的秘密。
为了帮助充分利用AWS的托管服务快速构建起一套集群环境,彻底去掉“单一故障点”,实现最高的可用性,我们准备了《低代码智能集群@AWS的架构与搭建方案》看完本文,带你掌握“基于nginx配置服务器集群”。
将基础设施代码化,使用代码对硬件进行管理,在运维领域借用软件领域的最佳实践,将基础设施的运维纳入软件工程的范畴,最终整体改善软件开发和软件交付的过程。
默认情况下,terraform在运行完后,会在当前目录下生成state状态文件,里面存储的是上一次执行成功后的资源状态。
最近我写了一篇关于 CI 和 CD 之间核心区别的文章,我觉得是时候把这些理论运用到实际当中了。
很多企业也开始尝试使用低代码来快速地搭建应用,从而减少开发成本和运维成本。FreeWheel核心业务开发团队在打造云原生微服务架构的过程中,搭建新服务的需求在日趋增多。
由于我要创建的是apisix-in-eks的lb,所以选择instance,并且http端口由于是nodeport,所有写一个不会被使用的31080;由于要创建的是alb是7层,协议选择http(如果是nlb要选择tcp):
Fortify 软件安全研究团队将前沿研究转化为安全情报,为 Fortify 产品组合提供支持,包括 Fortify 静态代码分析器 (SCA) 和 Fortify WebInspect。如今,Fortify 软件安全内容支持 30 种语言的 1,399 个漏洞类别,涵盖超过 100 万个单独的 API。
近几年来,低代码和开发平台成为了技术圈子的热点话题。很多企业也开始尝试使用低代码来快速搭建应用,从而减少开发成本和运维成本。FreeWheel 核心业务开发团队在打造云原生微服务架构的过程中,搭建新服务的需求日趋增多。为了应对这一挑战,我们研发了基于 AWS 的低代码开发平台。本文从低代码和开发平台的基本概念讲起,带你体验 FreeWheel 核心业务开发团队低代码的实战之旅。
上一篇文章,我们详细介绍了开发基于 PaaSTA 的新部署模型的架构和动机。现在想分享我们将现有 Kafka 集群从 EC2 无缝迁移到基于 Kubernetes 的内部计算平台的策略。为了帮助促进迁移,我们构建了与集群架构的各种组件接口的工具,以确保该过程是自动化的,并且不会影响用户读取或写入 Kafka 记录的能力。
今天我们很高兴公开 [HashiCorp Waypoint](https://www.waypointproject.io/) 项目,它为开发者提供了一个跨平台的构建、部署和发布应用的工作流,而且在所有平台中都可以获得一致的使用体验!借助 Waypoint 你的应用从开发到上线将只需一个配置文件和一个命令 `waypoint up`。
QuTrunk 是启科量子自主研发的一款免费、开源、跨平台的量子计算编程框架,包括量子编程API、量子命令转译、量子计算后端接口等。它提供多种量子计算体验,提供本地量子计算Python计算后端,提供OMP多线程、MPI多节点并行、GPU加速等计算模式。
Terraform是一种部署技术,任何想要通过基础设施即代码(Infrastructure as Code,IaC)方法来置备和管理基础设施的人,都可以使用这种技术。基础设施指的主要是基于云的基础设施,不过从技术上讲,任何能够通过应用程序编程接口(Application Programming Interface,API)进行控制的东西都可以算作基础设施。基础设施即代码是通过机器可读的定义文件来管理和置备基础设施的过程的
选自GitHub 机器之心编译 参与:刘晓坤、路雪、蒋思源 Parris 是一个自动化训练机器学习算法的工具。如果各位读者经常需要构建并训练机器学习模型,且花费很多时间来设置运行服务器,使用远程登录服务以监控进程等。那么这个工具将对大家十分有帮助,甚至我们都不需要使用 SSH 访问服务器以完成训练。机器之心简要介绍了该工具,更详细的内容请查看该 GitHub 项目。 项目地址:https://github.com/jgreenemi/Parris 安装 我们需要一个 AWS 账户,并将 AWS 证书加载到工
通过 eksctl 创建集群,默认情况下会创建一个专门的 VPC 以及相关的资源,看起来较为复杂,所以有必要了解一下默认的 VPC ,然后才能更好的实现更个性化的配置。
我已经使用JCloud(一种面向Java支持多种云的工具集)一年了。到目前为止,我已经在很多领域广泛地使用了JCloud,特别是在Fuse Ecosystem上。虽然JCloud很厉害,但是它缺乏用来管理云提供商的工具,一个和EC2命令类似但有JCloud特点的工具,能够管理EC2,Rackspace,Opensack,CloudStack 等的通用工具。
在上一篇文章中,我们讲到了DevOps和持续交付的关系。本篇将回顾最先改变运维工作的相关技术 —— 基础设施即代码和云计算,通过技术雷达上相关条目的变动来跟踪其趋势变化。
即使是一些最明显的预防措施,在工程组织已经负担沉重的情况下,也未得到足够的关注和优先考虑。
在AWS执行批处理任务时,允许按需配置多部分作业处理的应用架构,可用于对异构的系统的瞬时或延迟部署,并可扩展为“网格”型工作节点,通过并联的大批量任务处理实现快速收敛。面向批处理应用程序现在可以有很多的地方利用这种风格按需加工,包括理赔处理,大规模改造,媒体转码和多部分的数据处理工作。
不要左移而要下移。为开发者简化困难的事情。从 Kubernetes 的流行及其 API 学习。
在我们公司,我们尝试使用‘一切事物即代码’的模式,该模式涉及到可复制的基础架构,监控,任务等方面。但是在这篇文章当中,我将向你展示怎样将这种模式运用到 Jenkins 上。是的,我的意思是对于 Jenkins 完全可复制的配置,以及基础架构、插件、凭据、任务以及代码中的其他东西。另外,这篇文章你将解惑下面的疑问:
最近在使用 Terraform Cloud 来置备 OCI 的 Always Free Tier, 发现它非常好用,相比 Terraform OSS, 用起来省心多了。
cloud-security-audit是一款适用于AWS的命令行安全审计工具。它可以帮助你扫描AWS账户中的漏洞,你将能够快速识别基础架构中不安全的部分,并执行对AWS账户的审计工作。
谈到 Infrastructure as Code 大家想到的大多都是管理各种云上资源,如管理几百个 EC2 实例,十几个 Kubernetes 集群或几千条 DNS 记录。而 GitLab 作为一个核心功能是代码管理的 DebOps 平台,很少有人将其作为“基础设施”来进行管理,更多的是作为存放 IaC 代码的平台。那么,我可以使用 IaC 的方式来管理我的 GitLab 吗?
迁移系统时,有时你必须建立一个小脚手架。我们最近不得不这样做:在Instagram上,于遗留原因,我们需要将大约3亿张照片映射到创建它们的用户的ID,以便了解要查询的分片(请参阅有关我们的更多信息)分片设置)。虽然所有客户端和API应用程序都已更新并向我们返回 完整信息,但仍有许多人缓存的旧数据。我们需要一个解决方案:
原文:https://www.terraform.io/language/modules/develop/composition
Mondoo是一个Cloud-Native安全和漏洞风险管理系统且开箱即用。Mondoo集成了主要的云环境,CI/CD环境和构建工具(如packer)以及资源调配工具Terraform,Ansible和Chef等。
Red-Detector是一款功能强大的安全扫描工具,该工具可以帮助广大研究人员利用vuls.io扫描EC2实例中的安全漏洞。该工具主要基于Vuls实现其漏洞扫描功能,基于Lynis来寻找EC2实例中的安全错误配置,并利用Chkrootkit扫描EC2实例中的rootkit签名。
Checkov是一款针对基础设施即代码(IaC)的静态代码安全分析工具,在该工具的帮助下,广大研究人员可以在在Terraform、CloudFormation、Kubernetes、Serverless Framework和其他基础设施的构建期间,轻松检测出云端代码安全问题。
这篇文章讨论了如何在我们的环境中安装和配置软件,这个任务通常被称为服务器配置(Server Provisioning)。
网络上关于AWS Nitro技术细节的内容不多,本文是AWS VP兼杰出工程师James Hamilton的Nitro介绍性文章,差不多是Nitro介绍最详细的文章了。并且末尾,有读者提问,Hamilton仔细进行了回答,帮助大家揭开了很多“谜团”。
机器学习训练工作通常是时间和资源密集型的,因此将这一过程整合到实时自动化工作流程中可能会面临挑战。
HCL是Terraform的配置语言,它是HashiCorp发明的一种声明式语言,能够以更加简短和人性化的方式来描述资源。本文主要介绍HCL配置语言的基本语法及使用,语法采用当前最新版本0.12。
在本文中,我们将学习在 AWS 云中从 Amazon EC2 创建和启动 RHEL 8 的分步过程,以及如何使用 Putty 应用程序访问 RHEL 8 实例。
今天,我们发布了对 Kubernetes 的一流(first-class)支持,作为Metaflow[1]对 AWS 原生服务集成的替代方案。数据科学家可以将计算扩展到 Kubernetes 集群[2],并编排由 Argo Workflows 执行流程[3]。详情可参阅我们的Kubernetes 部署指南[4]。
hideNsneak提供了一个使用简单且功能强大的接口,可以允许渗透测试人员以最小的开销构建和管理渗透测试基础设施。功能包括:
作者 | Increment Staff 译者 | Sambodhi 策划 | Tina Increment 采访了 Datadog、Braze 和 BetterUp 的工程负责人,讨论了容器工具、测试和监控,以及他们如何处理容器迁移的问题。 嘉宾介绍: 劳伦·伯纳耶(Laurent Bernaille):DataDog 高级工程师。 克里斯·罗格斯(Chris Rogus):Braze 工程总监。 布莱恩·希克森(Bryan Hickerson):BetterUp 工程经理。 Q:贵组织使用哪些容器技术
编者按:OpenAI研究工程师Vicki Cheung, Jonas Schneider , Ilya Sutskever, and Greg Brockman在本文中分享了从事Deep Learning研究工作所需要的基础设施(软件、硬件、配置和编制),举例说明如何运用开源Kubernetes-ec2-autoscaler自动扩展深度学习研究中的网络模型,将有助于广大深度学习研究爱好者构建自己的深度学习基础设施。 深度学习是一门实证科学,一个研究团队的基础设施建设将对未来的研究工作产生重大影响。所幸,当今
作者 | Nir Sharma 译者 | Sambodhi 策划 | 田晓旭 构建可扩展的、高可靠性的软件系统是每个 SRE 的终极目标。本文概述了在监控、部署和维护领域中最受欢迎的几个开源项目。 成功的 SRE 之路就在于不断的学习。对于 SRE/DevOps 来说,目前已经有许多优秀的开源项目,每个项目都有新的、激动人心的实现,而且常常会面对独特的挑战。这些开源项目完成了繁重的工作,因此你可以更轻松地完成自己的工作。 在本文中,我们将介绍在监控、部署和维护领域中最受欢迎的几个开源项目。在这些项目中,有一
来源 | https://dzone.com/articles/top-open-source-projects-for-sres-and-devops
大数据文摘作品,转载要求见文末 编译 | Molly、寒小阳、Yawei 随着我们使用的神经网络越来越复杂,我们需要更强劲的硬件。我们的个人电脑一般很难胜任这样大的网络,但是你可以相对轻松地在Amazon EC2服务中租到一台强劲的电脑,并按小时支付租金。 我用的是Keras,一个神经网络的开源python库。由于用法十分简单,它很适合入门深度学习。它基于Tensorflow,一个数值计算的开源库,但是也可以使用Theano。租到的机器可以使用Jupyter Notebook通过浏览器来访问。Jupyter
为什么使用服务发现? 我们假设您正在编写一些调用具有REST API或Thrift API的服务的代码。为了发送请求,您的代码需要知道服务实例的网络位置(IP地址和端口)。在运行在物理硬件上的传统应
Salesforce 的 Einstein Vision 和语言服务部署在 AWS Elastic Kubernetes Service(EKS) 集群上。其中有一个最主要的安全和合规性需求,就是给集群节点的操作系统打补丁。部署服务的集群节点需要通过打补丁的方式进行系统的定期更新。这些补丁减少了可能让虚拟机暴露于攻击之下的漏洞。
作者:Kumar Chinnakali 译者:java达人 来源:http://dataottam.com/2016/01/10/self-learn-yourself-apache-spark-in-21-blogs-3/(点击文末阅读原文前往) 一、 Spark项目最初由加州大学伯克利分校AMP实验室的Matei在2009年发起,并在2010年根据BSD协议开源。2013年,该项目捐献给Apache软件基金会,转为Apache2.0 协议。2014年二月,Spark成为Apache重点项目。201
领取专属 10元无门槛券
手把手带您无忧上云