上一章介绍了创建Python分布式应用的Celery和其它工具。我们学习了不同的分布式计算架构：分布任务队列和分布对象。然而，还有一个课题没有涉及。这就时在多台机器上部署完成的应用。本章就来学习。 这里，我们来学习Amazon Web Services (AWS)，它是市场领先的云服务产品，以在上面部署分布式应用。云平台不是部署应用的唯一方式，下一章，我们会学习另一种部署方式，HPC集群。部署到AWS或它的竞品是一个相对廉价的方式。 云计算和AWS AWS是云计算的领先提供商，它的产品是基于互联网的按需计算
为什么要创建终端节点，把VPC和S3管理起来呢？如果不将VPC和S3通过终端节点管理起来，那么VPC中EC2实例访问S3存储桶是通过公共网络的；一旦关联起来，那么VPC中EC2实例访问S3存储桶走的就是内部网络。好处有两个：1. 走内部网络就不会产生流量费用；2. 走内部网络速度快，不会因为网络原因导致我们的Python脚本产生异常。
随着时间的高速发展，社会的不断进步……亚马逊公司推出了AWS云计算平台，有越来越多公司或是大佬们的首选，为了能够跟得上大佬们的步伐，斗哥也决定入坑了。正所谓工欲善其事，必先利其器，因此，斗哥想先向大家介绍一款工具----Pacu（一款基于AWS渗透测试的框架）。
2、s3-hosted p_w_picpaths 和EBS-backed p_w_picpaths的比较分析；
机器学习训练工作通常是时间和资源密集型的，因此将这一过程整合到实时自动化工作流程中可能会面临挑战。
在本文中，我们将设置一个示例情况，展示如何使用开源Squid代理从Amazon虚拟私有云(VPC)中控制对Amazon简单存储服务(S3)的访问。首先，您将配置Squid以允许访问Linux Yum存储库。接下来，您将配置Squid，以限制对已批准的Amazon S3 bucket列表的访问。然后，您将配置Squid以根据URL直接流量，将一些请求发送到Internet网关(IGW)，并将其他流量发送到虚拟专用网关(VGW)。最后，您将探索使Squid高度可用的选项。
前言 Web应用托管服务是一种常见的平台即服务产品（PaaS），可以用来运行并管理Web类、移动类和API类应用程序。Web应用托管服务的出现，有效地避免了应用开发过程中繁琐的服务器搭建及运维，使开发者可以专注于业务逻辑的实现。在无需管理底层基础设施的情况下，即可简单、有效并且灵活地对应用进行部署、伸缩、调整和监控。 Web应用托管服务作为一种云上服务，其中也会应用到的元数据服务进行实例元数据查询，因此不得不考虑元数据服务安全对Web应用托管服务安全性的影响。 通过“浅谈云上攻防”系列文章《浅谈云上攻
2006年，AWS发布了其第一个Serverless存储服务S3和第一个Serverful计算服务EC2，这也是AWS正式发布的前两个服务，开启了云计算波澜壮阔的旅程。2014年，AWS发布了业界第一个Serverless计算服务AWS Lambda。在今年（2021年）的AWS re:Invent大会上，AWS又发布三个Serverless新品：Redshift Serverless、EMR Serverless和MSK Serverless。AWS的15年发展史（2006到2021年），也是一部AWS创造和深耕Serverless的历史，一部从Serverful不断向Serverless演进的历史。
一直以来，公有云安全是横亘在广大用户面前的一道鸿沟。云安全（Cloud Security）是指用于控制云计算的安全性、合规性和其他使用风险的过程、机制和服务。公有云提供商们都强调安全是其最高优先级工作，动辄就发布上百页的云上安全最佳实践白皮书，举办几百几千人安全大会，发布几十甚至上百个安全服务。但与此同时，用户们对云上安全的担心一直挥之不去。在福布斯（Forbes）2019年的一份报告中，66%的IT从业人员认为安全是他们使用公有云服务最大的担心。Gartner预测到2020年，至少50%的企业用户会在不知情或误操作地将一些IAAS存储服务、网络、应用或API直接暴露到互联网上，而到2023年，至少99%的云上安全问题都是用户的错误引起的。
今天我照例要和大家分享一个新的多汁漏洞。 这个问题是在一个私人客户中发现的，所以我们称之为redacted.com。 探索范围。 在列举客户的域为子域的时候，我发现子域[docs]。我发现子域[docs]。 我出来到这个子域[docs.redact.com]。 寻找带外资源负载。 [docs]子域显示了一些文件和统计资料。 当点击一个统计的照片时，我看到了一种奇怪的，但不是一个神奇的链接： 我首先想到的是把[url]的值改为generaleg0x01.com 然后我注意到了[mimeType]参数，所以编辑
Metabadger是一款功能强大的SSRF攻击防护工具，该工具可以帮助广大研究人员通过自动升级到更安全的实例元数据服务v2（IMDSv2），以防止网络犯罪分子对AWS EC2发动SSRF攻击。
传言要换“掌门人”的确实是亚马逊，但是此“掌门”并非 “掌”的是亚马逊的门，而是其门下最主要的分部之一——AWS。
作者：Greg Femec，Revvel资深软件开发主管(Principle Development Lead)
我们正处于云计算时代，虚拟服务器和存储空间等资源通常根据需要通过部署脚本以编程方式进行配置。尽管剥离这类资产几乎是一个立竿见影的过程，但在不再需要它们时将其移除并不是那么简单。简单地删除云资产，而不确保你的公司删除了可能指向它们的所有记录，无论是在你的域的DNS区域中还是在你的代码库中，都可能会为攻击者打开严重的安全漏洞进行攻击。
DALL·E-2可以通过自然语言的描述创建现实的图像。Openai发布了dall·e-2的Beta版。在本文中，我们将仔细研究DALL·E-2的原始研究论文，并了解其确切的工作方式。由于并没有开放源代码， Boris Dayma等人根据论文创建了一个迷你但是开源的模型Dall·E Mini（命名为Craiyon），并且在craiyon.com上提供了一个DEMO。
选自GitHub 机器之心编译 参与：刘晓坤、路雪、蒋思源 Parris 是一个自动化训练机器学习算法的工具。如果各位读者经常需要构建并训练机器学习模型，且花费很多时间来设置运行服务器，使用远程登录服务以监控进程等。那么这个工具将对大家十分有帮助，甚至我们都不需要使用 SSH 访问服务器以完成训练。机器之心简要介绍了该工具，更详细的内容请查看该 GitHub 项目。 项目地址：https://github.com/jgreenemi/Parris 安装 我们需要一个 AWS 账户，并将 AWS 证书加载到工
在亚马逊的每一份年报中，Jeff Bezos 都会附上一份 1997 年致股东信的原件副本。在信中，Bezos 概述了亚马逊是否成功的基本衡量标准：坚持不懈地关注客户、创造长期价值而不是关注企业短期利润，以及持续进行大胆的创新。Bezos 写道，“如果我们执行得很好，那么每天都是‘第一天（Day one）’。”
对于在云端运行重要工作负载的任何企业而言，确保云支出随需求增减而自动增减是核心优先事项之一，但对于太多的企业来说，这又常常是令人痛苦、代价高昂的教训。不过从来不缺一线用户给出的有意义的详细指导，爱彼迎（Airbnb）正是愿意分享宝贵经验的用户之一。 爱彼迎的两位软件工程师Evan Sheng和David Morrison在一篇详细的新文章中介绍了他们如何使用Kubernetes Cluster Autoscaler动态扩展云集群；近年来，这家公司做出了许多早期云采用者正在做出的转变：将几乎所有在线服务从手
cloud-security-audit是一款适用于AWS的命令行安全审计工具。它可以帮助你扫描AWS账户中的漏洞，你将能够快速识别基础架构中不安全的部分，并执行对AWS账户的审计工作。
很多公司选择AWS作为其IT解决方案，AWS有很多云服务，以下介绍AWS中几类比较重要的服务。
云计算软件如今变得越来越复杂，使其监控、备份和安全变得越来越困难。考虑到公有云数据泄露造成的平均损失为500万美元，企业正在重新考虑他们的云计算数据保护策略。
Nebula 是一个云和（希望如此）DevOps 渗透测试框架。它为每个提供者和每个功能构建了模块。截至 2021 年 4 月，它仅涵盖 AWS，但目前是一个正在进行的项目，并有望继续发展以测试 GCP、Azure、Kubernetes、Docker 或 Ansible、Terraform、Chef 等自动化引擎。
目前云平台逐渐火热起来，国内如：阿里云、腾讯云、华为云等平台，国外如：AWS、Azure、Google GCP等平台，都有不少用户，并在持续的增加中。
教学流程： 1、 AWS概述 a) Amazon Web Services b) 云计算：采用按使用量付费的模式 2、 AWS基础设施 a) AZ可用区
作者｜吴建阳 翁建清 策划｜褚杏娟 AWS Elastic MapReduce(以下简称 EMR) 是集齐数据接入、存储、计算、交互式查询、机器学习等一系列开源社区组件封装的云上托管大数据平台，用户可以基于 EMR 迅速拉起一套大数据集群，用于大规模数据处理、分析，使用时可根据实际业务所需灵活调配计算资源，一定程度上降低底层基础设施运维成本。AWS 是最早将大数据管理平台上云的云厂商，查询其官网发行版本记录，能检索到的最古老版本 EMR-4.2.0 发布日期为 2015 年 11 月 18 日，当是时
作者 | Jon Udell 译者 | 明知山 策划 | 丁晓昀 渗透测试人员、合规性审计员和其他 DevSecOps 专业人员花了大量时间编写脚本来查询云基础设施。人们喜欢用 Boto3（Python 版 AWS SDK）来查询 AWS API 并处理返回的数据。 它可以用来完成简单的工作，但如果你需要跨多个 AWS 帐户和地区查询数据，事情就变得复杂了。这还不包括访问其他主流云平台（Azure、GCP、Oracle Cloud），更不用说 GitHub、Salesforce、Shodan、Sl
网络分割最简单的示例是使用防火墙分离应用程序和基础结构组件。这个概念现在是构建数据中心和应用程序架构中提出的。但如果没有合适的网络分割模型，几乎不可能找到企业案例。
默认情况下，terraform在运行完后，会在当前目录下生成state状态文件，里面存储的是上一次执行成功后的资源状态。
在最近发生的主要云安全事件中，Capital One公司的数据泄露事件影响了美国的1亿人和加拿大的600万人。其实并不只有Capital One公司遭遇网络攻击，黑客Paige A. Thompson与此同时窃取了其他三十多家公司、教育机构和其他实体的数TB的数据。
在过去数十年，Oracle与微软是软件行业当之无愧的两大巨头，同时也是数十年的竞争对手——从数据库到ERP，从营销策略到法律诉讼。2013年之前，两位巨头在企业级市场的厮杀可谓是乐此不疲，然而现在它们却坚定的走在一起： 从“恨到爱”只用半年 2013年6月的一则消息“惊呆了”IT领域的小伙伴们——微软宣布Hyper-V和Azure支持Oracle软件；而在之前，Oracle的CEO 拉里·埃里森更宣布将成立一个新的技术联盟，其内部成员可能会是Salesforce.com、NetSuite以及微
作者：Kumar Chinnakali 译者：java达人 来源：http://dataottam.com/2016/01/10/self-learn-yourself-apache-spark-in-21-blogs-3/（点击文末阅读原文前往） 一、 Spark项目最初由加州大学伯克利分校AMP实验室的Matei在2009年发起，并在2010年根据BSD协议开源。2013年，该项目捐献给Apache软件基金会，转为Apache2.0 协议。2014年二月，Spark成为Apache重点项目。201
爬虫文件在服务器上爬取数据的时候下载了很多的数据，为了保存这些数据，给这些数据做个备份于是就想把文件传到s3存储上。其实要上传文件也比较简单，通过awscli命令行工具即可上传。首选需要去aws的后台创建访问安全凭证。点击用户名，选择访问密钥，创建新的访问密钥，下载之后是一个csv文件包含AWSAccessKeyId和AWSSecretKey
ConvertKit 是一家全功能电子邮件服务提供商 (ESP)，是发展最快的电子邮件营销公司之一。但作为一家自力更生的私营企业，没有外部资金的支持，云成本控制对 ConvertKit 来讲非常重要。 近日，ConvertKit 详细列出了 2021 年在 AWS 上的花费，回顾了自己到底花掉了多少钱，并思考哪里还能进一步优化。“过去这一年我们也犯了不少错，但好在这些问题都可以修正。”ConvertKit 基础架构工程师 Kris Hamoud 表示。
在拉斯维加斯举行的黑帽大会(Black Hat 2014)上，一位颇有名声的研究人员称安全专业人士并未对托管在AWS云基础架构上的应用的安全性给予充分的关注，因而AWS用户可能更容易遭受到攻击：隐私信息暴露、模仿AWS EC2实例，甚或更糟。 黑帽大会上在星期三发表的一次演讲中，咨询公司Bonsai Information Security的创始人、开源w3af安全框架的领导者Andres Riancho详细阐明了他为一个“将Web应用托管在AWS基础架构上”的客户提供渗透测试的全经历。 尽管之前Rianc
本书主要介绍关于如何使用微服务构建应用程序，这是本书的第六章。第一章介绍了微服务架构模式，讨论了使用微服务的优点与缺点。之后的章节讨论了微服务架构的方方面面：使用 API 网关、进程间通信、服务发现和事件驱动数据管理。在本章中，我们将介绍部署微服务的策略。
CloudSpec是一款功能强大的开源工具，可以帮助广大研究人员通过普通人都能理解的逻辑语言来验证你托管在云服务提供商那里的云端资源安全。
Nebula是一个云和DevOps渗透测试框架，它为每个提供者和每个功能构建了模块，截至 2021年4月，它仅涵盖AWS，但目前是一个正在进行的项目，有望继续发展以测试GCP、Azure、Kubernetes、Docker或Ansible、Terraform、Chef等自动化引擎
本挖掘典型地运用了机器学习技术，例如聚类，分类，关联规则，和预测建模。这些技术揭示潜在内容中的意义和关系。文本发掘应用于诸如竞争情报，生命科学，客户呼声，媒体和出版，法律和税收，法律实施，情感分析和趋势识别。 在本篇博客帖中，你将会学习到如何将机器学习技术应用到文本挖掘中。我将会向你展示如何使用RapidMiner（一款流行的预测分析开源工具）和亚马逊S3业务来创建一个文件挖掘应用。亚马逊S3业务是一项易用的存储服务，可使组织在网页上的任何地方存储和检索任意数量的数据。 掘模型产生的结果可以得到持续的推导并
本挖掘典型地运用了机器学习技术，例如聚类，分类，关联规则，和预测建模。这些技术揭示潜在内容中的意义和关系。文本发掘应用于诸如竞争情报，生命科学，客户呼声，媒体和出版，法律和税收，法律实施，情感分析和趋势识别。 在本篇博客帖中，你将会学习到如何将机器学习技术应用到文本挖掘中。我将会向你展示如何使用RapidMiner（一款流行的预测分析开源工具）和亚马逊S3业务来创建一个文件挖掘应用。亚马逊S3业务是一项易用的存储服务，可使组织在网页上的任何地方存储和检索任意数量的数据。 掘模型产生的结果可以得到持续的推
在AWS执行批处理任务时，允许按需配置多部分作业处理的应用架构，可用于对异构的系统的瞬时或延迟部署，并可扩展为“网格”型工作节点，通过并联的大批量任务处理实现快速收敛。面向批处理应用程序现在可以有很多的地方利用这种风格按需加工，包括理赔处理，大规模改造，媒体转码和多部分的数据处理工作。
本文我将向大家分享一个新的非常有意思的漏洞。利用该漏洞可以为我们泄漏云环境中的Metadata数据，并进一步的实现远程代码执行（RCE ）。
DisruptOps Inc.成立于2014年，位于密苏里州堪萨斯城，该公司致力于通过为多云基础设施提供自动化的防护来提升云操作的安全性，实现对云基础设施的持续检测和控制。2018年10月，公司获得了由Rally Ventures领投的250万美元的种子轮融资。
开发后端自然离不开云服务，这里选用常用的亚马逊云(AWS)作为介绍。 如国内的阿里云，腾讯云原理相同，看一下官方文档即可明白。
当前大多数公司在运营应用产品时，无论是选择公有云还是自建的数据中心，都会面临服务器数量预估、存储容量规划和数据库的选型等问题。同时需要在基础设施之上部署依赖软件，以运行应用程序。当前是否存在一种简单的架构模型能够满足我们这种应用场景？当然，这个架构已经存在许久，它就是今天软件架构世界中很热门的一个话题——Serverless。
本文为InfoQ中文站特供稿件，首发地址为：http://www.infoq.com/cn/articles/aws-iam-dive-in。 访问控制，换句话说，谁 能在 什么 情况下访问 哪些 资源或者操作，是绝大部分应用程序需要仔细斟酌的问题。作为一个志存高远的云服务提供者，AWS自然也在访问控制上下了很大的力气，一步步完善，才有了今日的 IAM：Identity and Access Management。如果你要想能够游刃有余地使用AWS的各种服务，在安全上的纰漏尽可能地少，那么，首先需要先深入了
用认知计算处理现实生活中的业务是一件很有意义的事情，比如在IT服务管理领域。机器学习对处理现实案例中的分类与分配问题将会比人工更为有效，比如以下几种场景：
本文将介绍一种提升 S3 读取吞吐量的新方法，我们使用这种方法提高了生产作业的效率。结果非常令人鼓舞。单独的基准测试显示，S3 读取吞吐量提高了 12 倍（从 21MB/s 提高到 269MB/s）。吞吐量提高可以缩短生产作业的运行时间。这样一来，我们的 vcore-hours 减少了 22%，memory-hours 减少了 23%，典型生产作业的运行时间也有类似的下降。
本文介绍了PaaS云服务在实际业务中的应用，并分析了PaaS云服务的优点和缺点。作者认为PaaS云服务具有高度灵活性、可扩展性、成本效益和高效性等优点，但同时也存在一些缺点，如技术难度高、实施复杂、依赖第三方服务、需要投入较多资源等。在实际应用中，PaaS云服务需要根据业务需求和场景，选择合适的架构和技术方案，并注意维护、监控和优化云服务。
虽然最近亚马逊在迁离Oracle的数据库，使用Aurora PostgreSQL导致Prime Day促销日出现故障，但这似乎并不影响Amazon Aurora 数据库的推进，并且亚马逊一直在说Amazon Aurora兼容MySQL和PostgreSQL，是一种将数据库迁移到云的优秀工具。可见其要脱离Oracle的决心。而SAP也做出了同样的事情，在以前的SAP ERP系统里，SAP一直使用着别人的数据库，比如Oracle，后来SAP推出了HANA内存数据库，在S/4 HANA系列版本中，成功的使用了自己研发的数据库。可以看出这两家企业都想离开Oracle，所以合作是必然的事。
动机 部署单体应用程序意味着运行多个通常是单个大型应用程序的相同副本。您通常会提供N个服务器（物理或虚拟）并在每个服务器上运行M个应用程序的实例。部署单体应用程序并不简单，但它比部署微服务应用程序要简单得多。 微服务应用程序由数十甚至上百个服务组成。服务由各种语言和框架编写。每个应用程序都是具有自己特定部署、资源、扩展和监视要求的小型应用程序。例如，您需要根据该服务的需求运行一定数量的每个服务的实例。此外，每个服务实例必须提供相应的CPU、内存和I / O资源。除了复杂性外，更具挑战性的是部署服务必须快速，
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
