2: 获取public ip 并登陆机器执行 ps 命令记录patch前进程状态已经端口状态
上一章介绍了创建Python分布式应用的Celery和其它工具。我们学习了不同的分布式计算架构：分布任务队列和分布对象。然而，还有一个课题没有涉及。这就时在多台机器上部署完成的应用。本章就来学习。 这里，我们来学习Amazon Web Services (AWS)，它是市场领先的云服务产品，以在上面部署分布式应用。云平台不是部署应用的唯一方式，下一章，我们会学习另一种部署方式，HPC集群。部署到AWS或它的竞品是一个相对廉价的方式。 云计算和AWS AWS是云计算的领先提供商，它的产品是基于互联网的按需计算
为什么要创建终端节点，把VPC和S3管理起来呢？如果不将VPC和S3通过终端节点管理起来，那么VPC中EC2实例访问S3存储桶是通过公共网络的；一旦关联起来，那么VPC中EC2实例访问S3存储桶走的就是内部网络。好处有两个：1. 走内部网络就不会产生流量费用；2. 走内部网络速度快，不会因为网络原因导致我们的Python脚本产生异常。
作者 | Jon Udell 译者 | 明知山 策划 | 丁晓昀 渗透测试人员、合规性审计员和其他 DevSecOps 专业人员花了大量时间编写脚本来查询云基础设施。人们喜欢用 Boto3（Python 版 AWS SDK）来查询 AWS API 并处理返回的数据。 它可以用来完成简单的工作，但如果你需要跨多个 AWS 帐户和地区查询数据，事情就变得复杂了。这还不包括访问其他主流云平台（Azure、GCP、Oracle Cloud），更不用说 GitHub、Salesforce、Shodan、Sl
2、s3-hosted p_w_picpaths 和EBS-backed p_w_picpaths的比较分析；
我们已经多次关注亚马逊S3、阿里云oss这类对象存储的安全性问题，比如Bucket的权限管理，上传文件的xss问题、AK\SK的保护。如果说对象存储Object Storage Service像云盘，而本文所说的块存储Block Storage是类似于机械硬盘、固态硬盘的“云硬盘”。亚马逊方面在Elastic Compute Cloud (EC2)的实例的持久块存储称为Elastic Block Storage。阿里云EBS是指为ECS云服务器提供的块设备，高性能、低时延，满足随机读写，可以像使用物理硬盘一样格式化、创建文件系统，可用于云硬盘、快照、模板。在底层所承载的分布式存储系统是盘古系统，技术实现类似于HDFS，分为Master、Client、Chunk Server，基本的产品矩阵如下：
部署在亚马逊的云服务器中被认为是实现高可扩展性的好方法，同时只需要为您所使用的计算能力支付费用。不过您要如何从技术中获得最佳的可扩展性呢？
Nebula是一个云和DevOps渗透测试框架，它为每个提供者和每个功能构建了模块，截至 2021年4月，它仅涵盖AWS，但目前是一个正在进行的项目，有望继续发展以测试GCP、Azure、Kubernetes、Docker或Ansible、Terraform、Chef等自动化引擎
本文介绍了如何提升云可扩展性的三种方法。首先，使用自动缩放（Auto-scaling）可以自动根据负载调整实例数量。其次，水平扩展数据库层（Horizontally scaling the database tier）可以通过增加只读实例来提高数据库性能。最后，使用分区的EBS卷可以进一步提高性能。
随着数字化时代的到来，云计算已经成为了信息技术领域的重要驱动力，为企业和个人提供了强大的计算和存储资源。本文将探讨云计算的发展历程、核心概念，以及在IT领域的广泛应用。
教学流程： 1、 AWS概述 a) Amazon Web Services b) 云计算：采用按使用量付费的模式 2、 AWS基础设施 a) AZ可用区
我们从最常用的 Python 包入手，去解答上述这个问题。最初，我列出过去一年在 PyPI 上下载次数最多的 Python 包。接下来，深入研究其用途、它们之间的关系和它们备受欢迎的原因。
在亚马逊云服务中部署被盛赞为是一个很好的方式来实现高扩展性并且你只需要支付你所使用的云计算机性能即可。那么，如何从这项技术中获得最佳的扩展性呢？
主要的AWS EC2区域出现性能下降后，Signal随之瘫痪，Xero和Nest则变得有点不稳定。 AWS周日晚上过得并不轻松，其主要的US-EAST-1区域的EC2实例出现了异常。 在太平洋夏令时20点11分，AWS状态页面宣布该平台的主要可用区出现了性能下降的问题。 30分钟后发布的通知声称：“由于进出附加EBS卷的IO被卡住，受影响的可用区内使用EBS卷的现有EC2实例也出现了性能下降。” “由于卷性能下降，受影响的可用区内刚启动的EC2实例可能无法启动。” 在太平洋夏令时21点47分，AWS表
Amazon Comprehend 服务利用自然语言处理（NLP）来分析文本。其使用非常简单。
您是否厌倦了在日常工作中做那些重复性的任务？简单但多功能的Python脚本可以解决您的问题。
“天下武功，无坚不摧，唯快不破”，相信大家对星爷电影《功夫》中的这句话耳熟能详。实际上，“天下武功，唯快不破”最早出自古龙先生的著名武侠小说《小李飞刀》：“小李飞刀，例无虚发，只出一刀，无人能挡，只因天下武功无坚不摧，唯快不破。”
今年2月，由光环新网运营的AWS 中国（北京）区域和由西云数据运营的 AWS 中国（宁夏）区域发布新的实例类型，新的实例类型包括C5、C5d、R5、R5d。除了这四种之外，在AWS国外部分区域还上线了最新的C5n。
Grab 更新了其 Kubernetes 上的 Kafka 设置以提高容错性，并完全避免在 Kafka Broker 意外终止时需要进行人工干预。为解决最初设计的不足，Grab 的团队集成了 AWS 节点终止处理程序（Node Termination Handler，NTH），使用负载均衡器控制器进行目标组映射，并切换到 ELB 卷进行存储。
不过这里值得注意的是，可以看到使用docker ps -a 并没有找到我们停止的容器，所以这里是将这个容器删除了，因为我们正常停止一个容器的时候，使用docker stop，但是在docker ps -a中，我们可以看到已经停止的容器，可以使用docker start 重新将它启动，但是这里是直接将这个容器删除
深入了解 CSI（Container Storage Interface）是什么以及它如何在 Kubernetes（k8s）中工作。
CloudSpec是一款功能强大的开源工具，可以帮助广大研究人员通过普通人都能理解的逻辑语言来验证你托管在云服务提供商那里的云端资源安全。
Nebula 是一个云和（希望如此）DevOps 渗透测试框架。它为每个提供者和每个功能构建了模块。截至 2021 年 4 月，它仅涵盖 AWS，但目前是一个正在进行的项目，并有望继续发展以测试 GCP、Azure、Kubernetes、Docker 或 Ansible、Terraform、Chef 等自动化引擎。
入侵 AWS 主机的动机有很多，最常见的就是挖矿与垃圾邮件。过去的一年内，Lacework 发现关键事件中有近三分之一都与垃圾邮件和恶意邮件有关。其中，大部分都与一个名为 AndroxGh0st 的 Python 恶意软件有关，背后至少有一个名为 Xcatze 的攻击者。
本系列文章主要针对ETL大数据处理这一典型场景，基于python语言使用Oracle、aws、Elastic search 、Spark 相关组件进行一些基本的数据导入导出实战，如：
很多公司选择AWS作为其IT解决方案，AWS有很多云服务，以下介绍AWS中几类比较重要的服务。
通过前面两章的基础学习，我们大概了解了基于Python进行DevOps实践需要哪些知识。
$ pip list Package Version ---------------------- ------------- aniso8601 2.0.0 asn1crypto 0.23.0 astroid 1.6.2 attrs 17.2.0 Automat 0.6.0 awscli 1.14.14 bcrypt 3.1.4 beautifulsoup4 4.6.0 bleach 1.5.0 boto 2.48.0 boto3 1.5.8 botocore 1.8.22 bs4 0.0.1 bz2file 0.98 certifi 2017.7.27.1 cffi 1.11.0 chardet 3.0.4 click 6.7 colorama 0.3.9 constantly 15.1.0 coreapi 2.3.3 coreschema 0.0.4 cryptography 2.0.3 cssselect 1.0.1 cycler 0.10.0 cymem 1.31.2 cypari 2.2.0 Cython 0.28.2 cytoolz 0.8.2 de-core-news-sm 2.0.0 decorator 4.1.2 dill 0.2.7.1 Django 1.11.5 django-redis 4.8.0 django-rest-swagger 2.1.2 djangorestframework 3.7.3 docutils 0.14 dpath 1.4.2 en-blade-model-sm 2.0.0 en-core-web-lg 2.0.0 en-core-web-md 2.0.0 en-core-web-sm 2.0.0 entrypoints 0.2.3 es-core-news-sm 2.0.0 fabric 2.0.1 Fabric3 1.14.post1 fasttext 0.8.3 flasgger 0.8.3 Flask 1.0.2 Flask-RESTful 0.3.6 flask-swagger 0.2.13 fr-core-news-md 2.0.0 fr-core-news-sm 2.0.0 ftfy 4.4.3 future 0.16.0 FXrays 1.3.3 gensim 3.0.0 h5py 2.7.1 html5lib 0.9999999 hyperlink 17.3.1 idna 2.6 incremental 17.5.0 invoke 1.0.0 ipykernel 4.6.1 ipython 6.2.0 ipython-genutils 0.2.0 ipywidgets 7.0.1
网络上关于AWS Nitro技术细节的内容不多，本文是AWS VP兼杰出工程师James Hamilton的Nitro介绍性文章，差不多是Nitro介绍最详细的文章了。并且末尾，有读者提问，Hamilton仔细进行了回答，帮助大家揭开了很多“谜团”。
根据 Gartner 的预测，预计在 2021 年，全球终端用户在公共云服务上的支出将在 2020 年的 2700 亿美元基础上增长 23%，达到 3320 亿美元。
当您将Ansible与AWS结合使用时，维护清单文件将是一项繁重的任务，因为AWS经常更改IP，自动缩放实例等。但是，有一个简单的解决方案就是ansible动态清单。它基本上是一个Python脚本，当您运行ansible命令时会进行API调用以获取实例信息。这将为您提供动态清单详细信息，这些信息可以用来方便管理AWS基础架构。
作者 | Elad Leev 译者 | 王强 策划 | Tina 本文最初发布于 leevs.dev 网站，经原作者授权由 InfoQ 中文站翻译并分享。 根据 Gartner 的预测，预计在 2021 年，全球终端用户在公共云服务上的支出将在 2020 年的 2700 亿美元基础上增长 23%，达到 3320 亿美元。 Kafka 的市场增长趋势也是一样的。世界各地的组织都在使用 Kafka 作为主要的流处理平台来大规模收集、处理和分析数据。随着组织的发展和壮大，数据规模也在增长，随之而来的云成本同样
任务1 罗列磁盘分区的类型并做比较性介绍 分类: FAT16、FAT32、NTFS、EXT2、EXT3、EXT4
因为判定规则分析中的判定结果较分散，为便于后继的分析和使用，我们将判定结果进行分类，不同的类别称为“问题类型”。
2021年12月23日，AWS的其中一个数据中心遭遇了故障，这已是该公司在本月的第三次中断事件。 今天早上，AWS US-EAST-1区域的停电影响了Slack、Asana、Epic Games及其他众多服务。 问题是从美国东部时间上午7点30左右开始的；到下午1点，这些问题产生的一系列连锁反应继续困扰着诸多服务，AWS继续报告该区域的许多服务存在问题，具体来说是其EC2计算服务及相关网络功能。 该地区的单点登录服务也开始出现了错误率增加的情况。 AWS在美国东部时间上午8点的更新中解释道：“我们可以确认
近日AWS re：Invent2022隆重召开，作为一年一度的云科技盛会，AWS高级副总裁Pete DeSantis介绍了 AWS 的一些重大工作成果与改进，主要包含硬件、网络、科学和软件四部分。本文将重点介绍Nitro V5、Graviton3E以及SRD网络传输协议方面的创新。
在 Yelp，Kafka 每天接收数百亿条消息来推进数据驱动并为关键业务管道和服务提供支持。我们最近通过在 PaaSTA （Yelp 自己的平台即服务）上运行集群，对 Kafka 部署架构进行一些改进。基于 K8s 的部署利用了 Kafka 的自定义 Kubernetes operator 以及用于生命周期管理的 Cruise Control 。
本文将对云端环境中的横向移动技术和相关场景进行深入分析和研究，并给大家展示研究人员在云环境中观察到的一些威胁行为。云端环境中的横向移动可以通过利用云API和对计算实例的访问来实现，而云端级别的访问可能会扩展到后者。
Docker 中也有一个 volume 的概念，尽管它稍微宽松一些，管理也很少。在 Docker 中，卷就像是磁盘或是另一个容器中的一个目录。它的生命周期不受管理，直到最近才有了 local-disk-backed 卷。Docker 现在提供了卷驱动程序，但是功能还非常有限（例如Docker1.7只允许每个容器使用一个卷驱动，并且无法给卷传递参数）。
Kubernetes（K8s）备份恢复是一个关键的过程，用于在发生数据丢失、故障或灾难情况时，恢复Kubernetes集群和其上运行的应用程序到之前的状态。
今天给大家分享最近一年内PyPI上下载量最高的Python包。现在我们来看看这些包的作用，他们之间的关系，以及为什么如此流行。 1. Urllib3：8.93亿次下载 Urllib3 是 Python 的 HTTP 客户端，它提供了许多 Python 标准库没有的功能。
3月19日，首个海量2.0【云中生长】讲座在腾讯举行，本文为当天分享内容整理。 讲师：谢明（Reganxie），腾讯TEG架构平台部助理总经理，T4专家，通信与信息系统专业博士，在海量服务系统架构建设、管理方面拥有非常丰富的经验。同时也是腾讯海量服务之道2.0技术体系的核心骨干。 现在互联网发展浪潮已经转变为移动互联网，过去几年互联网行业发展越来越快，新的APP出现也越来越快。来自WWDC 2014大会的数据显示，iOS 注册开发者900W，50%增速/年速度增长；开发者数量，包括腾讯开放平台应用报上架的应
cloud-security-audit是一款适用于AWS的命令行安全审计工具。它可以帮助你扫描AWS账户中的漏洞，你将能够快速识别基础架构中不安全的部分，并执行对AWS账户的审计工作。
"天下大势，合久必分，分久必合"，云计算时代IT基础设施演进的下个10年，是从分离重新走向融合的10年：通过云操作系统，将数据中心多厂家异构的计算、存储、网络资源的水平融合，对外提供开放与标准化的IT服务接口，实现面向利旧IT基础设施的"融合"。
使用boto进行https的连接失败, validate_certs设置成True或False没有任何作用
在本教程中，你将学习如何使用不同的Python模块从web下载文件。此外，你将下载常规文件、web页面、Amazon S3和其他资源。
今天我们一起学习如何使用不同的Python模块从web下载文件。此外，你将下载常规文件、web页面、Amazon S3和其他资源。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
