利用该漏洞可以为我们泄漏云环境中的Metadata数据，并进一步的实现远程代码执行（RCE ）。 测试范围 在对该站点进行子域枚举时，我找到了[docs.redact.com]这个子域。...正如我们所知，[169.254.169.254]是EC2实例的本地IP地址。 让我们尝试通过导航到[ latest/meta-data/]来访问元数据文件夹。 ? SSRF被确认。...SSRF利用得很好，现在让我们进一步的漏洞挖掘，看看能否将其升级为威胁性更大的“RCE” 从 SSRF 到 RCE 我尝试了一些潜在的利用场景。...尝试读取[S3 Bucket]的内容： 尝试使用AWS CLI运行多个命令从AWS实例检索信息。但由于安全策略的原因，对大多数命令的访问被拒绝。...为了访问S3 bucket，我们将使用之前抓取的数据，格式如下： elasticbeanstalk-region-account-id 现在，bucket名称为“elasticbeanstalk-us-east
研究直指AWS弱点及误配置 通过笔试，Riancho揭示称对于与会者来说，首要之事就是要了解所有的AWS EC2实例存储元数据，其中涵盖了Amazon Machine Images (AMI)的各个细节...在将元数据从Web应用服务器上下载下来后，Riancho称他发现了一个AWS安全组已经被用户数据脚本配置了，以及一个能够配置EC2实例的方法。...从攻击者角度来看，这样的用户数据脚本包涵的信息往往再好不过，因为他们必须要知道在哪儿可以检索到个别Web应用的源代码。...对于用EC2实例访问诸如S3之类的服务来说，AWS提供实例配置文件，可在开始时共享带有EC2实例的证书。...尽管那些证书非常强大(Ps：能够赋予攻击者相同的权限，而EC2实例是其偷盗所有)，但是却与之前提及的元数据一起存放在 Web应用服务器上，Raincho表示。
本质上来说，AWS元数据服务将允许用户访问实例中的所有内容，包括实例角色凭据和会话令牌等。实例元数据是有关用户的实例的数据，可以用来配置或管理正在运行的实例。实例元数据可划分成不同类别。...重要注意的是，虽然用户只能从实例自身内部访问实例元数据和用户数据，但数据并未进行加密保护。可访问实例的人员均可查看其元数据。...因此，用户应当采取适当的预防措施来保护敏感数据（例如永久加密密钥），而不应将敏感数据 (例如密码) 存储为用户数据。 用户也可以使用实例元数据访问用户启动实例时指定的用户数据。...例如，如果用户为各种小型企业运行 Web 服务器，则这些企业都可以使用相同的 AMI，并在启动时从用户在用户数据中指定的 Amazon S3 存储桶中检索其各自的内容。...工具要求 Metabadger需要带有下列权限的IAM角色或凭证： ec2:ModifyInstanceAttribute ec2:DescribeInstances 在对实例元数据服务进行更改时，我们应该谨慎
这里的潜力非常大，包括： 信息暴露，其中我们欺骗服务器来暴露关于自身的信息，在示例 1 中使用 AWS EC2 元数据描述。...实例元数据的查询。...EC2 是 Amazon 的弹性计算云。它们提供了查询自身的功能，通过它们的 IP，来拉取关于实例的元数据。...权限很明显限制为实例自身，但是由于 Brett 能够控制服务器从哪里加载内容，它能够使其调用自身并拉取元数据。...对于 ESEA，虽然站点寻找图片文件，它并不验证收到的东西，并且可以用于渲染恶意 XSS，以及对自己的 EC2 元数据执行 HTTP 请求。
云镜像的基础 在IaaS（基础设施即服务）平台上启动新实例时，实例镜像处于初始未被配置状态。因此，需要一种方法在实例启动时根据使用者情况来自动配置实例。...通常，IaaS平台为此提供了一个元数据服务器，比如在Amazon EC2（亚马逊云EC2）中就有提供此类服务器。...这个元数据服务器实际是一个正在监听一类特殊硬编码IP地址的HTTP服务器，当实例启动时，实例可以由这个服务器请求获取它自己的基本信息，如主机名，并通过检索基本的用户元数据来自动配置实例。...需要的工具 [78pznx5fbs.jpg] 平台上运行实例时，尤其像Amazon EC2或OpenStack这类平台，需要根据启动的环境来配置和更新镜像。...，并会请求元数据服务器应答，检索用户元数据如主机名来配置实例。
ZK/HDFS/YARN 等组件服务因具备故障转移机制，整体集群服务不受影响，EMR 后台会将故障 EC2 实例从集群中剔除并新增一个新 EC2 实例，待初始化完毕后 (含高可用配置操作) 重加入集群。...事实上这里列举的各个阶段皆有脉络可循： 申请 EC2 实例。从 EMR 管理控制台 InstanceGroup 入口可跳转到 EC2 实例控制台，那里可以观测到 EC2 实例运行情况。 初始化系统。...8.集群使用 RDS 我司基于 Hive 构建企业级大数据平台元数据服务，存在多集群复用统一元数据库现象，从元数据库高可用及运维投入产出比方面考虑，选择 RDS 作为 Hive 等组件元数据库无疑是个明智之举...EMR 只负责相对单纯的计算承载体，数据存储方面则由 AWS S3 服务提供，确保集群切换时底层数据存储统一。 元数据。...元数据不应存储于 EMR 集群内，应外挂于集群之外，我司将其外挂至 RDS，以确保 EMR 集群故障时元数据不丢。 收拢离线集群任务提交入口。
所以我们知道[169.254.169.254]是EC2实例的本地IP地址。 让我们尝试通过导航到[/latest/meta-data/]来访问meta-data文件夹。 SSRF确认。..."创建一个RSA认证密钥对（公钥和私钥）" "以便能够从账户登录到远程站点，而不需要输入密码" 通过[上传后门]升级成功。 试图读取【S3 Bucket】内容。...尝试使用AWS CLI运行多个命令，从AWS实例中检索信息。然而，由于现有的安全策略，大多数命令的访问都被拒绝了。...~# aws s3 ls 调用ListBuckets操作时发生错误（AccessDenied）。...为了访问S3 bucket，我们将使用之前抓取的数据，格式如下： elasticbeanstalk-region-account-id.
架构改进及动机 过去，我们所有的 Kafka 集群都在 AWS 的专用 EC2 实例上运行。Kafka 直接部署在这些主机上，配置管理高度依赖 Puppet 仓库。...虽然我们仍然依赖外部 ZooKeeper 集群来维护集群元数据，但消息数据仍然保存在 Kafka 代理的磁盘中。...由于 Kafka 用户依赖持久存储来检索数据，在 Kubernetes 中，Kafka 被认为是一个有状态的应用程序。Kubernetes 公开了用于管理有状态应用程序的工作负载 API 对象 。...在设计了这个架构之后，我们构建了一个将 Kafka 集群从 EC2 无缝迁移到 PaaSTA 的流程。截止目前，我们已经将许多集群迁移到 PaaSTA，并使用新架构部署了新集群。...下一篇会分享我们将现有 Kafka 集群从EC2无缝迁移到基于Kubernetes的内部计算平台的策略。
驱动 我第一次尝试使用 VoltDB 是为了寻找一个更好的支持高并发在线游戏服务器的数据库。我经历了痛苦的第一次 5 对 MySQL 的扩展，发现 VoltDB 3 特别适合更复杂的游戏世界的需求。...当充分利用 16 核集群实例作为客户端节点时，每台计算机每秒钟通常达到 260000 次事务的吞吐量。...m3.2xlarge 提供以下内容，如 Amazon EC2 实例类型页面17所述： 集群 => 八个超大实例（cc2.8xlarge） 60.5 GiB 内存 88 个 EC2 计算单元（2 个 Intel...请注意，许多机器将显示比 EC2 实例高得多的性能配置文件。 我们决定以 Amazon 弹性云作为 benchmark，希望这会推出最明了的设置。...实际上，您可以轻松地尝试完全相同的 benchmark 。VoltDB 和新的驱动程序可以从 VoltDB 下载 20。
将 security-group-id 改写为你的 VPC 中的一个 Security Group。 将 ec2-keypair-name 改写为你的一个 EC2 密匙对。...以下是我使用的案例，可以使 Lambda 函数启动一个新的 CloudFormation 堆栈、从 S3 bucket 中获取对象，以及对 EC2 实例进行大量运算： { "Version":...由于终止和安装新实例与更新原有的实例相比，不需要额外的开销，因此算法训练最佳实践是终止栈，然后在需要重新训练时重新安装栈。 5....脚本首先尝试创建 Lambda 函数，如果创建失败出现函数中已经存在的错误，则脚本将运行函数代码的更新版。...注意 Lambda 函数配置的特定细节（即内存）不要被脚本更新，你需要向脚本添加额外的逻辑来更新函数元数据，或删除原来的函数，使用更新后的元数据重新创建 Lambda 函数。
对于数据存储，我们将在DynamoDB中创建两个表： data —将保留带标签的输入数据进行训练 model —存储训练工作中的元数据和指标 环境设定 初始化 由于项目将与Node Lambda文件和Python...请注意，在创建自定义策略时，不会自动创建DynamoDB流策略，因此需要显式定义它。 此外，将添加创建EC2实例所需的策略： EC2 —创建并运行实例。...IAM —获取，创建角色并将其添加到实例配置文件。从控制台启动EC2实例并选择IAM角色时，会自动创建此配置文件，但是需要在功能内手动执行此操作。...接下来，检索实例配置文件，该配置文件定义了EC2实例将使用的IAM角色。每个需要阻止的调用都使用带有await关键字的promise表单。...有了实例配置文件，将为竞价型实例定义完整的EC2参数集。另一种选择是分别创建一个模板并直接启动它。还将在关闭时终止实例，这里的另一项优化是根据需要停止/启动持久实例。
威胁行为者首先尝试使用传统的横向移动技术访问EC2实例，例如利用默认的开放端口和滥用现有的SSH密钥等。 当这些方法都失败之后，威胁行为者随后便开始使用针对云端环境的横向移动技术。...这种方法并不会授予威胁行为者针对目标实例上运行时环境的访问权限（包括内存中的数据和实例云元数据服务中可用的数据，如IAM凭据等），但却允许威胁行为者访问存储在目标实例磁盘上的数据。...只要不使用OS Login服务，威胁行为者就可以将计算引擎实例配置为将其SSH密钥存储在实例元数据中。 这些SSH密钥存储在实例元数据中，便于访问各个实例。...通过使用Google Cloud CLI，可以将公共SSH密钥附加到实例元数据中，相关命令代码如下图所示： 类似的，威胁行为者也可以使用提升的权限将公共SSH密钥添加到项目元数据中。...比如说技术2中描述的横向移动场景，其中威胁行为者可以利用EC2实例连接服务来访问目标EC2实例。
EBS提供块级别的存储卷给EC2 实例使用，EBS卷通过网络连接，独立于虚拟机实例生命周期。EBS提供高可用，高可靠，可预期的存储卷给正在运行的虚拟机，并呈现为一个虚拟机设备。...AWS的Storage & Content Delivery产品列表上，你会发现S3是一项单独的服务，而EBS不在其中，EBS是基于EC2的一项子服务。两者服务对象不是同一级的。...EBS S3 服务对象 系统管理员 系统管理员/最终用户 服务场景 1、作为虚拟机硬盘，在虚拟机看来就像EBS就像本地的硬盘；当EC2实例失效时，EBS卷可以自动解除与该实例的关联，从而可以关联到新的实例...一般使用快照作为新卷的起始点，所以当数据遭到破坏时就能通过回滚到某个快照来恢复数据。 连接类型 通过网络连接 通过网络连接。...无需在其上建文件系统，对象存储包括元数据、数据内容、数据属性。
在机器学习上，使用支持向量机（SVM）的分类，这里包括了对象类和元数据，对象则包括了文本、令牌n-gram和字符n-gram，元数据则包括文档的长度、扩展名、编码格式、标题。...• 权限升级 – 成功或失败的尝试获得对应用或用户通常不受保护的资源的高级访问权限，或试图长时间访问您的系统或网络。 • 匿名访问 – 尝试从IP地址，用户或服务访问您的资源，意图隐藏用户的真实身份。...• 向远程主机生成异常大量的网络流量 • 查询与比特币相关活动相关的域名 • 一个API是从Kali Linux EC2实例调用的 • 调用账户中安全组，路由和ACL的网络访问权限的API • 调用通常用于更改账户中各种资源的安全访问策略的...IP地址调用API • API从已知的恶意IP地址被调用 • EC2实例正在执行出站端口扫描 • 调用通常用于发现与AWS账户中各种资源相关的权限的API • 调用通常用于启动计算资源（如EC2实例）的...EC2实例 • 与比特币矿池进行通信 六、总结 关于两家的文档，其实还有更丰富的细节值得推敲学习。
的同步微服务没有很好的处理客户端有请求超时配置的情况。...当累积到一定数量时，需要将这个实例暂时从注册中心取下，并扩容。 待这个队列消费完之后，重新上线。 当超过一定时间还是没有消费完的话，将这个实例重启。...它会对以下几个指标进行监控并限制： 带宽：每个虚拟机实例（AWS 中为每个 EC2 实例），都具有流量出的最大带宽以及流量入的最大带宽。...每秒数据包 (PPS，Packet Per Second) 个数：每个虚拟机实例（AWS 中为每个 EC2 实例）都限制 PPS 大小 连接数：建立连接的个数是有限的 链接本地服务访问流量：一般在公有云...，每个虚拟机实例 （AWS 中为每个 EC2 实例）访问 DNS，元数据服务器等，都会限制流量 同时，成熟的公有云，这些指标一般都会对用户提供展示分析界面，例如 AWS 的 CloudWatch 中，就提供了以下几个指标的监控
介绍 许多云服务提供商在他们的虚拟机上提供“元数据”服务。这些服务提供有关实例和云操作环境的敏感细节。 元数据服务提供 REST API 以编程方式检索此数据。...Amazon 的 AWS 服务在其 EC2 实例上定义了 IMDSv1“标准”，从那时起，许多其他公司也采用了这种 IMDSv1 方案，包括 AWS、Google 和 Azure。...Internet 用户使用代理从内容服务器检索信息。 如果配置不正确，反向代理可以允许对代理可以访问的其他主机（包括本地接口上的自身）进行超出意图的访问。...当客户端配置为使用代理时，HTTP 请求遵循如下格式： GET http://example.com/page.html HTTP/1.1 Host: example.com 复制 这将指示代理从example.com...如果服务可访问，我们将收到实例元数据。 来自 Digital Ocean 虚拟机的实例元数据。 由于元数据服务有据可查，因此攻击者可以探索通过 API 提供的路径。
Revvel团队将视频转码服务从AWS EC2迁移到AWS Lambda和S3上，实现了整个转码的Serverless化，节省了大量费用和运维成本，并且将时长2小时的视频转码从4-6小时缩短到不到10分钟...我们也在AWS EC2上尝试建立自己的视频转码服务，成本得到了一定的控制，视频的控制权也增大，但随之而来的是运维方面的挑战。这些挑战表现在： 可扩展性。...另外，在我们构建转码服务的时候，EC2按小时计费，如果我们启动多个实例处理视频，每个实例运行了20分钟，每个实例仍然需要支付一小时的费用。（从2017年9月份开始，EC2可以按秒计费。）...准备好重试超时的函数，尤其是网络受限的函数，这些函数可能只是恰巧超时而已。 成果展示 使用情况统计数据。我们现在已处理15万小时的已转码视频，并拥有4亿次Lambda Function调用。...三是Lambda上的CPU每小时的价格要高于EC2。四是解码开销。其实解码工作中很多步骤是重复的。比如，很多步骤都要解码2个音频流、1个视频流，读取文件头里的元数据等。 未来计划。
它是一个包含服务实例的网络位置的数据库。服务注册表需要高度可用和最新。客户端可以缓存从服务注册表获得的网络位置。但是，该信息最终会变得过时，客户端无法发现服务实例。...如您所料，客户端可以使用HTTP GET请求来检索注册的服务实例。 Netflix通过在每个Amazon EC2可用区域中运行一个或多个Eureka服务器来实现高可用性。...当Eureka服务器启动时，它会查询DNS以检索Eureka群集配置，查找其对等体，并为其分配一个未使用的Elastic IP地址。...自我注册模式 当使用自注册模式时，服务实例自己负责注册到服务注册表或从注册表中注销自己。此外，如果需要，服务实例发送心跳请求，以防止其注册过期。下图显示了此模式的结构。 ?...服务注册表是可用服务实例的数据库。服务注册表提供管理API和查询API。服务实例使用管理API从服务注册表注册和注销。系统组件使用查询API来发现可用的服务实例。
迁移系统时，有时你必须建立一个小脚手架。...我们需要一个解决方案： 查找键并快速返回值 将数据存在内存中，理想情况下是在EC2高内存类型（17GB或34GB，而不是68GB实例类型）中 兼容我们现有的基础结构 持久化，以便在服务器宕机时我们不必重跑...这个问题的一个简单解决方案是将它们简单地存储在数据库行中，其中包含“Media ID”和“User ID”列。...它具有可配置的持久化模型，其中后台以指定的时间间隔保存，并且可以设置主从同步。我们所有的Redis都在主从服务器上运行，从服务器设置为每分钟保存到磁盘。...根据我们需要的300,000,000，大约要21GB的数据，已经比亚马逊EC2上的17GB实例类型更大。
为了了解更多情况，在 Yelp，我们使用一组kafka_discovery文件（由 Puppet 生成），其中包含每个集群的引导服务器、ZooKeeper[3] chroot 和其他元数据的信息。...因此，在将任何数据从基于 EC2 的代理迁移到基于 PaaSTA 的代理之前，我们需要确保所有新组件都已到位。我们还希望最大限度地减少迁移所需的工程时间，因此我们实施了一些工具来帮助自动化流程。...在这一点上，我们已准备好开始将数据从 EC2 代理中移出，并利用 Cruise Control 的 API 来移除他们。请注意，这个 API 仅将分区从指定的代理移开，并不会真正停用主机。...在 Cruise Control 完成将所有分区数据从 EC2 代理移到 PaaSTA 代理之后，我们准备终止 EC2 代理。...我们最初为迁移过程考虑的另一种方法是建立一个新的基于 PaaSTA 的集群，其中包含 N 个代理，然后使用 Kafka MirrorMaker 将现有 EC2 集群的数据“克隆”到这个新集群上。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
