使用Spring集成轮询文件的S3存储桶

文章/答案/技术大牛

发布

1回答

Spring集成仅根据触发器文件指定的文件名拾取

spring-integration、spring-integration-aws

使用spring集成，我只想从触发器文件指定的文件名中提取文件。如果.batch01-触发器存在，那么将根据处理结果更新触发器的文件名(. be 01-触发器成功或.be 01-触发器失败)谢谢!我使用了AWS SDK和spring-integration-aws。

浏览 5提问于2022-03-29得票数 0

1回答

java、spring、amazon-s3、spring-integration、polling

我在一个项目中工作，在这个项目中，我需要轮询S3存储桶中的文件，并在不同的S3存储桶中上传。作为实现它的第一步，我正在尝试轮询S3存储桶中创建的新文件，并使用Spring Integration在我的本地目录中创建它们。为此，我用maven

浏览 16提问于2018-12-29得票数 2

回答已采纳

1回答

Spring集成:自上次轮询以来仅接收新文件

spring-integration、spring-integration-aws

我正在使用Spring Integration从S3存储桶中轮询文件。我不能删除处理后的文件，所以我添加了S3PersistentAcceptOnceFileListFilter。我有很多文件和轮询频繁，这对FILE_SYNC_METADATA_STORE表造成了不必要的压力。我想知道是否有一个FileListFilter实现可以过滤自上次轮询以来新的</

浏览 16提问于2020-09-02得票数 0

回答已采纳

1回答

com.amazonaws.services.s3.model.S3ObjectInputStream.readAllBytes()：NoSuchMethodError

java、amazon-web-services、spring-boot、amazon-s3、noclassdeffounderror

我正在开发一个spring boot应用程序，它使用spring aws集成定期轮询S3存储桶，并处理来自S3的轮询对象。在尝试从另一个S3存储桶中读取已处理的对象时，我遇到了异常 java.lang.NoSuchMethodError: com.amazonaws.services.s3.model.S3ObjectInput

浏览 40提问于2019-01-08得票数 2

1回答

xd实例中不同模块的配置参数

spring-xd

我有3个spring xd容器在运行，1个管理服务器和1个zookeeper用兔子作为transport.We，有s3文件拉取器，它从s3存储桶.Now中拉出巨大的文件，问题是重复记录处理，所有容器都在拉相同的文件所以我想尝试这种方法，比如将会有s3填充拉取源模块，模块计数为3，每个实例将从s3中的3个不同的存储桶</e

浏览 2提问于2016-01-29得票数 0

1回答

如何使用部署在S3中的spring集成app来优化处理存储在pcf存储桶中的大量文件？

spring-boot、amazon-s3、spring-integration、pcf

我们的应用程序是使用经典的spring mvc(4.x)和spring集成框架开发的，并部署在weblogic中(我们没有其他选择)，它轮询nfs挂载中的文件并对其进行处理。现在，我们被要求从weblogic迁移到使用PCF作为平台。我们现在的问题是PCF没有配置为使用卷服务，所以我们必须像存储一样从S3轮询<

浏览 22提问于2021-01-10得票数 1

回答已采纳

2回答

需要dynamodb中GridFsTemplate.store()的替代方法

java、spring-data-jpa、amazon-dynamodb

在使用GridFsTemplate的情况下，如何用spring数据替换dynamodb中的数据？GridFSFile存储(InputStream内容、字符串文件名、字符串contentType、DBObject元数据) 上面的存储方法是用发电机弹簧数据替换的。

浏览 0提问于2016-10-20得票数 0

1回答

如何使用在S3桶中获取当前日期的对象计数？

spring、spring-integration、spring-integration-sftp、spring-integration-aws

有一个春季集成应用程序，其中文件被从一个文件夹路由到S3桶使用S3出站通道适配器。我需要知道存储在S3桶下的当前日期(当前日期)和格式文件(csv/txt)下的文件/对象的数量。想知道如何在不直接使用aws的情况下使用spring-integration-

浏览 0提问于2018-12-19得票数 1

回答已采纳

1回答

将状态文件链接到Terraform中的模块

terraform

我们目前的想法是，每个对象类型都有一个状态文件--有很好的理由像这样构造它，所以我正在寻找一种使用这种结构的解决方案，而不是一种建议不同结构的解决方案。提供每个对象类型的逻辑封装在自己的模块中，即有一个独立模块用于创建AWS S3存储桶，一个独立模块用于创建雪花存储集成对象，等等。还有更高级别的模块，它们通过调用较低级别的模块来提供更复杂的基础设

浏览 4提问于2022-06-10得票数 0

2回答

定期轮询包含大量文件的AWS S3存储桶中的新文件？

amazon-web-services、amazon-s3

我遇到了需要轮询AWS S3桶以获取新文件的情况。而且，它不仅仅是一个水桶。有一些~1000+存储桶，这些存储桶可能有很多文件。这种用例通常的策略/设计是什么？我需要在每次投票中使用新的文件。我无法从桶中删除文件。

浏览 8提问于2016-03-18得票数 3

回答已采纳

1回答

按放置顺序将流程文件放入AWS lambda中的s3存储桶中

amazon-web-services、amazon-s3、aws-lambda、amazon-sqs

我目前的工作流程如下：用户将文件放入s3存储桶中-> s3存储桶触发事件到lambda -> lambda处理s3存储桶中的文件。它还调用其他lambdas。我想要处理多个用户同时将文件放入s3存储桶中的场景。我想要处理这些文件，以便首先放入<

浏览 2提问于2018-08-10得票数 2

1回答

在JAVA中当对象被上传到S3时触发SWF工作流

java、amazon-web-services、amazon-s3、amazon-swf

我正在使用JAVA中的AWS Flow Framework来构建工作流。理想情况下，我希望在任何对象上传到S3时运行工作流。提前感谢

浏览 0提问于2015-04-16得票数 0

4回答

添加s3存储桶作为扩展坞卷

amazon-web-services、docker、volume

我在我们的内部数据中心中有一个spring启动应用程序，它处理主机上特定文件夹中的文件。我们希望将其部署到亚马逊网络服务，并希望使用s3存储桶来上传文件进行处理。我们有没有办法将s3存储桶空间作为docker卷添加？

浏览 0提问于2018-10-12得票数 8

1回答

扩展Kafka Connect以处理10K S3存储桶

amazon-s3、apache-kafka、apache-kafka-connect、scalability

我想从各种S3存储桶(超过10,000个存储桶，每个文件大约20-50MB)加载数据到Apache Kafka。存储桶列表是动态的-在运行时添加和删除存储桶。理想情况下，每个存储桶配置都应该有自己的轮询间隔(扫描新文件的频率-至少60秒，但可能更长)和优先级(正在处理的并发<

浏览 49提问于2021-07-28得票数 2

1回答

弹力豆柄中的Springboot服务器创建我看不到的文件

amazon-web-services、spring-boot、amazon-ec2、amazon-elastic-beanstalk

奇怪的是，上面提到的的功能是工作的。输出文件被成功地发送到我的电子邮件收件箱。但是，当SSHed进入实例时，无法看到文件。为数据操作创建的整个目录根本不存在。我到处找过了。Status: 200 - OK", HttpStatus.OK);如果使用Postman访问此端点，则无法通过SSHed进入的终端查看目录。该程序正在工作，所以我知道代码在这个意义上是正确的，但它就像<e

浏览 6提问于2021-12-09得票数 1

回答已采纳

1回答

上传文件到S3 Bucket。无法从环境变量加载客户端监控配置

spring、amazon-web-services、kotlin、amazon-s3

我正在尝试将文件上传到S3存储桶。我的代码：class AmazonConfig { fun s3(): AmazonS3 { val awsCredentials

浏览 0提问于2021-03-06得票数 1

1回答

当第三方S3存储桶中的对象更新时得到通知

amazon-web-services、events、amazon-s3

我需要监视第三方公共s3存储桶上的文件，并希望在文件更新(替换)时收到通知。除了轮询之外，还有其他解决方案吗？正如我所说的，存储桶是第三方存储桶，它不太可能对自己的部分进行任何修改，以将创建的对象事件传递到lambda或队列。

浏览 0提问于2019-05-30得票数 0

1回答

雪花:当我可以直接将值复制到表中时，我为什么要选择创建一个外部阶段？

snowflake-cloud-data-platform

FIRST_NAME VARCHAR, EMAIL VARCHAR from s3= 1为什么我会决定采取中间步骤，创造一个外部阶段，如： url='s3

浏览 4提问于2022-07-20得票数 1

回答已采纳

1回答

AWS SDK C++：一些S3集成测试失败

c++、amazon-web-services、amazon-s3、aws-sdk-cpp

如果某些S3集成测试失败，该怎么办？可以在互联网上找到任何有用的解决方案。仅使用了-DBUILD_ONLY="s3“编译参数。代码库在1.0.99标签上。以下是./aws-cpp-sdk-s3-integration-test的日志：[----------] Global

浏览 0提问于2017-05-11得票数 0

2回答

使用spring集成aws轮询文件和处理S3桶

spring-boot、amazon-s3、spring-integration

我需要轮询一个S3桶来查找文件，并在任何文件可用时立即收集并处理它们。我需要使用和来完成这个任务。到目前为止，我的代码如下所示： .handle(fileProcessor())

浏览 7提问于2017-04-14得票数 3

回答已采纳

点击加载更多

Spring集成仅根据触发器文件指定的文件名拾取