首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >问答首页 >使用数千个s3对象从s3桶中读取

使用数千个s3对象从s3桶中读取
EN

Stack Overflow用户
提问于 2019-08-17 06:10:05
回答 1查看 1.2K关注 0票数 0

我有一个s3桶,其中有12000个s3对象。我想分批阅读这些s3对象(比如50)。我已经将最大连接的数量设置为1000 (但是我们有12,000条连接,当我一次只读几条连接的时候,打开这些连接通常不是一个好做法),我有多线程java代码,从这些s3对象中读取,每个s3对象被分配到一个线程。下面是问题1。我想分批读取s3对象,比如一次读取50个对象,但是由于我们从桶中只读取50个对象并将S3ObjectInputStream分配给一个线程,所以我得到连接重置错误,因为所有其他输入流都在等待从s3对象实际开始读取。

java.net.SocketException:连接重置

解决这类问题的最佳方法是什么。

我已经将连接的最大数量增加到1000个,虽然我有12k,但是我如何能够自动地实现这一点,这样我就不必在我的末尾将s3桶拆分成1000个对象。

EN

回答 1

Stack Overflow用户

发布于 2019-08-17 13:23:50

我怀疑问题在于您试图使用S3批处理来做一些它不支持的事情。文档说:

要创建作业,您可以为Amazon操作提供一个对象列表,并指定要对这些对象执行的操作。亚马逊的S3批处理操作支持以下操作:

  • 放置复制对象
  • 放置对象标记
  • 放置对象ACL
  • 启动冰川恢复
  • 调用AWS Lambda函数

对象GET不在该列表中。

(但如果你给我们看了一个最小可重现性示例,我们就能理解你到底在做什么!)

票数 2
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/57533753

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档