在Amazon ECS上运行批处理作业

Amazon ECS（Elastic Container Service）是亚马逊云计算服务提供的一种高度可扩展的容器管理服务。它允许用户轻松地在云中运行和管理容器化的应用程序。

批处理作业是一种需要处理大量任务的计算工作负载。它们通常需要在短时间内处理大量数据，例如数据分析、图像处理、视频转码等。Amazon ECS提供了一种简单而强大的方式来在云中运行批处理作业。

优势：

弹性扩展：Amazon ECS可以根据工作负载的需求自动扩展容器实例，确保作业能够在所需的时间内完成。
简化管理：通过使用Amazon ECS，用户可以轻松地管理和部署容器化的批处理作业，而无需担心底层基础设施的细节。
高可用性：Amazon ECS提供了高可用性的容器实例，以确保作业能够在任何时间都能正常运行。
安全性：Amazon ECS提供了多种安全功能，包括网络隔离、访问控制和数据加密，以保护用户的数据和应用程序。

应用场景：

数据分析：通过在Amazon ECS上运行批处理作业，用户可以快速处理大量数据，并从中提取有价值的信息。
图像处理：Amazon ECS可以用于批量处理图像，例如图像压缩、图像识别等。
视频转码：用户可以使用Amazon ECS将视频文件转码为不同的格式，以适应不同的设备和平台。

推荐的腾讯云相关产品：

腾讯云容器服务（Tencent Kubernetes Engine，TKE）是腾讯云提供的一种高度可扩展的容器管理服务，类似于Amazon ECS。它提供了强大的容器编排和管理功能，可以轻松地在云中运行和管理容器化的应用程序。

产品介绍链接地址：https://cloud.tencent.com/product/tke

如何使用AWS批处理？

amazon-web-services

我正在尝试使用新的AWS批处理功能：https://aws.amazon.com/batch/为了试图隔离这个问题，我在一个全新的AWS帐户上使用所有的默认设置。我的理解是，我不需要手动启动任何EC2实例来使用这个特性，AWS批处理应该为我这样做。不过，它

浏览 0提问于2017-01-18得票数 5

3回答

AWS -批处理对Fargate

amazon-web-services、aws-fargate、aws-batch

我希望通过创建CloudWatch Rule定期创建一个容器并作为作业执行，比如每1小时执行一次。这两个有什么区别？注:我有一个init容器，也就是说，我有两个码头集装箱一个接一个运行。使用ECS Scheduled Task似乎是可能的。但与Batch不同。

浏览 6提问于2021-08-03得票数 2

回答已采纳

0回答

在Amazon ECS上运行批处理作业

amazon-web-services、amazon-s3、amazon-ec2、amazon-ecs

我对使用AWS非常陌生，对于ECS更是如此。目前，我已经开发了一个应用程序，它可以获取S3链接，从该链接下载数据，处理数据，然后输出有关该数据的一些信息。我已经将此应用程序打包到一个docker容器中，现在驻留在amazon容器注册表中。我现在要做的是启动一个集群，向每个运行Docker的EC2实例发送一个S3链接，让所有容器实例处理这些数字，并将所有结果返回到单个节点。我不太明白在这一点上我应该如何更改我的应用程序。我需要让运行在docker容器中的应用程序成为服务吗？或者我应该只通过ssh向容器发送命

浏览 3提问于2016-07-04得票数 0

回答已采纳

2回答

如何使用AWS Batch从私有存储库中拉取Docker镜像？

amazon-web-services、docker、aws-batch

我正在使用AWS Batch，我的Docker镜像托管在私有Nexus repo上。我正在尝试创建作业定义，但我找不到任何如何指定回购凭证，就像我们在ECS中对任务定义所做的那样。我尝试在Json中手动指定它，如下所示："command": ["aws", "s3", "ls"], "image": "nexus-docker-repo.xxxxx.xxx/my-

浏览 3提问于2020-01-03得票数 3

1回答

每个aws批处理都会产生一个新的码头容器吗？

amazon-web-services、docker、aws-ecs、aws-batch

每次我提交批处理作业时，是否会创建一个新的Docker容器，或者旧容器将被重用。如果所有这些容器在三个小时后才被清理，如果我提交了大量的工作，那么ECS容器实例不是很快就被填满了吗？在运行批处理作业时获取此错

浏览 4提问于2018-09-07得票数 2

回答已采纳

1回答

AWS批处理作业-设备上没有剩余空间，但已启用EBS自动缩放

amazon-web-services、amazon-cloudformation、aws-batch

我在批处理作业中遇到以下错误。我遇到了一个问题，我在批处理作业中得到了一个java.lang.RuntimeException: java.io.IOException: No space left on device。我的批处理作业在两个成对的fq.gz上运行bbnorm.sh ，每个文件的大小约为22 GB。 Volume

浏览 4提问于2021-11-03得票数 0

1回答

如何公开AWS批处理容器的端口？

amazon-web-services、aws-ecs、aws-batch

根据我的理解，ECS的“任务定义”是由批处理创建的，一些字段，如环境变量或挂载点，可以在“任务定义”中描述，并在“任务定义”中反映出来。但是，其他“任务定义”参数又如何呢?这些参数在“作业定义”中没有字段，比如"portMappings“。如何修改它们？

浏览 16提问于2018-08-03得票数 0

1回答

EC2容器服务与Apache

amazon-ec2、cron、scheduler、mesos

我们希望使用Docker容器在集群环境中运行批处理作业。我们正在评估使用AWS ECS容器服务/Chronos/Mesos。据我所知，Apache有一些与EC2重叠的特性/用途，比如集群管理。我们是一个很小的团队，在集群开发方面几乎没有经验。哪个堆栈更适合我们的批处理？这是一个由Mesos管理的两个集群的示例图片。读取ECS容器服务文档()，AWS将

浏览 6提问于2015-10-16得票数 2

回答已采纳

2回答

创建AWS批处理管理计算环境将UserData传递给容器实例

amazon-web-services、docker、amazon-ec2、amazon-ecs、aws-batch

我想为创建一个，但是使用来配置实例，因为它们被引入到批处理作业的ECS船队中。最多可以指定AMI。但是，由于我们使用的是管理，所以我们必须使用Amazon ECS-optimized AMI。

浏览 7提问于2017-08-31得票数 5

回答已采纳

1回答

AWS由于accountId失配而生成accountId

amazon-web-services、boto3、amazon-ecs、aws-batch

从批量运行的容器作业中，我试图提取正在运行该AWS批处理作业的EC2实例的实例id：在作业脚本中，我获取环境变量AWS_BATCH_JOB_ID并调用boto3.clientcontainerInstances=this_container_instance_arn，实例ID应该包含在该响应中:这是在批处理作业环境中运行的--容器实例实例= ecs.de

浏览 6提问于2019-10-10得票数 0

1回答

在每次作业提交超过rest后，作业管理器中的flink磁盘使用率增加。

apache-flink、flink-batch

我已经在AWS ECS中部署了自己的flink设置。一个服务用于JobManager，一个服务用于任务管理器。我正在为作业管理器运行一个ECS任务，为任务经理运行3个ecs任务。我有一种批处理作业，我每天都使用flink rest上传新参数，当我每次提交磁盘内存增加600 S3时，我给出了一个检查点作为S3。因为我在ECS上运行，所以在每次jar

浏览 2提问于2021-03-29得票数 1

1回答

如何在Debian中安装Amazon容器代理？()

amazon-web-services、amazon-ec2、docker、debian、amazon-ecs

我有一个Debian的ec2实例，当我执行以下命令时：我收到一个没有找到的错误包。所以我需要在我的Debian上增加新的Debian？

浏览 2提问于2015-10-13得票数 2

1回答

如何防止AWS ECS在关键时刻关闭？

amazon-web-services、docker、amazon-ec2、amazon-ecs

有没有办法确保AWS ECS容器实例不会在运行关键任务的过程中关闭？问题是，有时，在缩容期间，正在运行关键作业的实例被关闭，这最终导致作业失败。

浏览 2提问于2020-12-24得票数 0

2回答

在AWS上设置cron作业最经济的方法是什么？

amazon-web-services、cron、elastic-beanstalk

详细信息:我有一个在ElasticBean秸秆(web服务器)上的web应用程序，我需要用PHP执行几个cron作业。这些cron作业必须连接到AWS RDS。为此，我创建了一个ElasticBean秸秆工作程序，但是我必须付费让Worker实例一整天都可用，而cron作业最多只需要20分钟。

浏览 0提问于2017-05-21得票数 0

1回答

“启动ecs”在基于arm64的实例a1.large上不起作用

amazon-ecs、arm64

我正在将容器从我们的生产ecs集群中的m5.large实例迁移到a1.large实例。但是在这种情况下，当用户数据脚本尝试启动ecs命令时，我注意到它不再可用： [ec2-user@ip-10-1-1-90 ~]$ start ecs -bash: start: command notfound 我使用的是最新推荐的AMI (ami-0c812cd5f7b956092)： aws ssm get-parameters --names /aws/service/ecs/optimize

浏览 48提问于2019-05-06得票数 0

回答已采纳

1回答

AWS ECS容器无法启动ecs-agent.log中的EC2MetadataError

amazon-web-services、amazon-ecs、amazon-ami、aws-batch

我正在尝试在AWS Batch中使用自定义AMI。AMI已经配置为批处理兼容，但ECS容器不会启动。当我试图在批处理作业中包含AMI时，该作业被卡住在"Runnable“下。" module=instancecreds.go level=info time=2021-08-05T20:35:31Z msg="Image excluded from cleanup: amazon/amazon-<

浏览 163提问于2021-08-11得票数 0

3回答

如何使用带有cloudwatch事件的aws lamba运行长时间运行的任务

cron、aws-lambda、amazon-cloudwatch

我正在运行一个cron，它每天运行，连接到数据库(X)，并从x数据库导出数据到y数据库，然后从x数据库中删除该数据。整个执行过程需要超过5分钟。我曾想过批量运行查询并多次运行lambda，但是我不知道lambda应该运行多少次。有没有什么办法可以用lambda来完成这个任务，或者有什么其他的解决方案？

浏览 14提问于2018-08-13得票数 0

2回答

在EC2上为具有多个依赖项的web应用程序构建坞映像

docker、amazon-ec2、amazon-ecs

手头的问题：问题：如果我可以使用一个基本图像，我应该选择哪一个？(很难知道EC2机器上的操作系统版本，因此我不确定该从哪个基本映像开始。我参考了这个文档-- ，但是它是从Ubuntu映像创建的。向我指出一些好的文档，以便在EC2上为具有依

浏览 0提问于2018-04-18得票数 0

回答已采纳

1回答

使用java客户端在GKE中运行作业

java、amazon-web-services、google-cloud-platform、google-kubernetes-engine

我已经看到，可以使用amazon sdk在ECS集群中运行作业，这是通过使用类来完成的。com.amazonaws.services.ecs.AmazonECS；runTask()现在我也想这样做，但是使用Google引擎(GKE)，也就是说，我希望能够从java应用程序连接到集群，以便在集群中启动一个作业。我一直在看这门课它有一个名为如图所示但是，群集对象没有<

浏览 10提问于2022-08-25得票数 0

回答已采纳

2回答