使用Spring batch从S3读取大文件的最佳方法

文章/答案/技术大牛

发布

1回答

java、spring、spring-boot、spring-batch

要求是读取每个小于4 4GB的文件，并将数据推送到其他位置。我通过扩展PathMatchingResourcePatternResolver类编写了自己的getResources()实现，以便填充资源数组，如下所示：public Resources3object.getObjectContent())); return resources.toArray(new Resource[resources.size()]);如您所见，我读取了所有资源我看到的另一个

浏览 12提问于2018-03-02得票数 0

1回答

用于文件处理的Spring Batch

spring、spring-batch

Spring Batch适合处理大量的单个文件吗？ Spring Batch似乎面向以数据为中心的工作。我需要从S3存储桶中拉出数百万个文件，解压缩它们，根据内容执行一些逻辑，然后调用web服务。Spring Batch似乎非常适合这种作业监控，但我不确定用它来做文件处理是不是太过分了。

浏览 1提问于2012-05-15得票数 1

回答已采纳

2回答

用于大文件的Spring集成

java、etl、batch-processing、large-files、spring-integration

我需要使用spring集成对大数据包执行ETL操作。例如，我有一个很大的xml文件，比如： <cource name="A"> <name>A1</name>C; 232 这是简单的转换操作和容器上的一些聚合函数。"class“和"cource”记录的数量真的很大，我无法解析内存中的</em

浏览 5提问于2013-01-16得票数 1

回答已采纳

3回答

从Aws S3中读取春季批处理文件

java、spring、amazon-s3、spring-xd

我正在尝试从AWS S3读取文件并使用Spring处理它：<bean id="itemReader" class=""org.springframework.batch.item.file.FlatFileItemReader

浏览 7提问于2015-06-14得票数 10

3回答

spring批处理文件写入器，无需PutObjectRequest即可直接写入亚马逊s3存储

java、amazon-web-services、amazon-s3、spring-batch

我正在尝试将文件上载到亚马逊s3。我希望使用spring batch从数据库中读取数据，并将文件直接写入s3存储，而不是上传。我们有什么办法可以做到这一点吗？

浏览 0提问于2018-06-05得票数 5

1回答

上传大型文件-在UI后端创建块？

javascript、performance、amazon-s3、file-upload、architecture

我有一个问题，考虑到我们需要上传大文件，这两种方法之间的最佳实践是什么？读取文件&在UI上创建块(文件的片段，即blob)，并将每个块从UI发送到后端。在后端，将每个块读入流&将每个块发送到所需的位置(s3)。好处：减少超时的机会(考虑到<em

浏览 2提问于2022-09-12得票数 0

1回答

spring batch:处理大文件

jms、datasource、spring-batch

我在生产中有10个大文件，我们需要从文件中读取每一行，并将逗号分隔值转换为一些值对象，然后将其发送到JMS队列，并将其插入到数据库中的3个不同的表中如果我们有10个文件，我们将有3300万行。我们使用spring batch(MultiResourceItemReader)来读取搜索行，并将其写入db，然后将其发送到JMS。大概需要25个小时才能完成所有的工作。这里我有以下问题: 1)如果我使用5个线程进行处理，我们将把大量数据发布

浏览 4提问于2016-03-14得票数 0

1回答

如何使用spring* batch对输入数据进行分组？*

java、spring、spring-integration、spring-batch

我的spring batch作业从文件夹中读取csv文件(1个文件夹=1个作业，1个文件夹=1个工作单元)。我需要读取这些数据，并使用来自外部端点的信息来丰富它们。显然，从外部端点获取每个CSV行的信息并不是一个好主意，因为应用程序使用的是大文件。但不管怎样，我需要对远程端点执行几个请求，但请求取决于CSV文件的内容。假设哪里有名为merchan

浏览 30提问于2019-09-11得票数 0

回答已采纳

3回答

从spring* batch管理访问远程spring *batch作业

spring、spring-batch、spring-batch-admin

我刚来spring batch。我想在服务器a上运行spring batch作业，并想使用spring batch admin.is从服务器b启动这些作业，这是可能的吗？我通过以下两种方式进行了搜索： 1.JMX方式:我可以将spring batch beans转换为mbeans，但我无法从spring batch admin.can中读

浏览 3提问于2012-01-30得票数 1

2回答

需要dynamodb中GridFsTemplate.store()的替代方法

java、spring-data-jpa、amazon-dynamodb

我们正在将代码从mongo转移到dynamodb。上面的存储方法是用发电机弹簧数据替换的。

浏览 0提问于2016-10-20得票数 0

1回答

Spring Batch -验证数据加载/批量插入的最佳方式？

java、api、spring-batch

我有一个Spring批处理应用程序，它读取平面文件CSV并转换一些数据，然后将其写入数据库。我们谈论的是数十万条记录或数百万条记录。我想在第二天验证CSV中的行数是否与数据库中插入的记录数匹配。目前，数据加载是由一些脚本完成的，这些脚本将这些CSV文件推送到我的S3批处理应用程序正在侦听的listening存储桶中。触发这种“自动验证”的最佳方式是什么，以便在数据加载后，另一个服务可以检查所有批处

浏览 50提问于2021-07-01得票数 0

回答已采纳

2回答

Spring Batch -从S3读取多个文件

spring、spring-boot、spring-batch、spring-batch-tasklet

就像从s3读取spring batch中的单个文件一样，我们使用 @Bean reader.setResource(resourceLoader.getResource("<em

浏览 29提问于2020-09-17得票数 1

1回答

spring boot读取大文件的最佳方式

spring-boot、spring-batch、file-processing

我正在使用spring boot和angular开发一个应用程序，可以从日志文件(最大1 1gb)中跟踪订单。我愿意听取您的建议，关于在spring中读取、处理和验证文件的最佳解决方案，我只考虑了spring batch，但还有其他健壮的解决方案吗

浏览 41提问于2018-02-28得票数 0

回答已采纳

2回答

如何将大的json数据发送到spring控制器

java、spring、rest、spring-boot

如何将大量json数据发送到spring控制器。比方说，我有大约100k或1000k记录的大型json数据，我需要在spring或springboot中发送到我的rest控制器，那么解决这个问题的最佳/最有效的方法是什么？我知道可以使用request body发送数据，但我认为在REST api的请求body中发送如此大量的数据效率不高。我可能错了，如果我错了，请纠正我并且数据需要尽可能

浏览 1提问于2019-07-13得票数 1

1回答

如何处理S3中的大文件并在春季批处理中使用

java、amazon-s3、spring-batch、large-data、large-files

这里我的用例是从S3读取CSV文件并处理它。请在下面找到我的代码：根据这个实现，我在内存中保存了2GB的内容并对其进行处理--这并不是一种有效的

浏览 4提问于2021-10-20得票数 4

2回答

如何在spring* batch中链接多个ItemReaders？*

java、spring、spring-batch

是否可以在spring-batch中使用和链接多个ItemReader那么有没有可能同时链接两个阅读器呢？

浏览 2提问于2016-01-19得票数 2

1回答

Spring Batch如何使用web服务，以及如何读取web服务输入？

web-services、spring-batch

我是Spring Batch的新手。我想知道Spring batch如何使用web服务，以及如何让spring batch从web服务(如transaction_id = 125 )读取输入为了清楚起见，我希望spring batch从web服务(ID = 125)读取输入，查询输入，然后对该记录进行一些计算，最后更新记录

浏览 8提问于2013-04-23得票数 2

1回答

使用块大小将CSV文件从s3加载到Pandas中

python、pandas、amazon-s3、python-s3fs

我试着从s3上读取一个非常大的文件.import s3fs df = pd.read_csv('s3://bucket-name/filename', chunksizechunksize选项在从s3获取文件时工作吗？如果没有，是否有更好的方法从s3加载大文件？

浏览 1提问于2021-02-25得票数 4

回答已采纳

1回答

Spring Batch分区DBtoFile Java配置示例

spring-batch、partitioning

我目前正在使用Spring Boot和Spring Batch应用程序从数据库中读取200,000条记录，处理它并生成XML输出。我编写了单线程Spring批处理程序，它使用JDBCPagingItemReader从数据库中批量读取10K条记录，并使用StaxEventItemReader生成此输出。整个过程需要30分钟。我想通过使用Spring Batc

浏览 13提问于2017-07-10得票数 0

点击加载更多