1回答
如何对大文件进行Spring批量记录分区？ 例如，如果我在文件中有100条记录，我需要提高spring批处理速度，每10条记录创建1个线程。该怎么做呢？但是这个分区工具为每个文件创建分区。因此不会对一个大文件造成性能影响。该怎么做呢？是的，我需要写像https://mkyong.com/spring
浏览 29提问于2020-04-21得票数 0
1回答
我读过spring-batch中的分区，我找到了一个演示分区的示例。该示例从CSV文件中读取persons，执行一些处理并将数据插入数据库。因此，在这个示例中，1分区=1文件，因此分区程序实现如下所示：
privatespring batch允许以某种方式对其进行分区吗？
浏览 19提问于2019-08-06得票数 3
4回答
我正在为我的应用程序构建一个数据库存储，它包含一个包含大量数据(数亿条记录)的表。我计划在日期字段上建立一个索引，因为我会时不时地对给定时间段内的所有记录进行批量恢复(例如，检索第二天午夜的所有记录)。由于这个系统中的记录数量巨大，而且性能是一个重要的问题，我想知道是否有一种方法可以动态地对我的表进行分区，以便我可以更快地检索记录，在不再需要分区时创建和截断分区。
浏览 0提问于2010-02-03得票数 9
我想用Spring Batch读取一个大的文本文件。我想使用Spring Batch提供的Partition逻辑。已经可用的分割器并不能解决我的问题。我想使用分区通过FlatFileReader读取文件。
请帮帮忙。
浏览 2提问于2013-11-25得票数 0
1回答
我需要每天150个MM记录，持续10年。记录总数150 10 * 365 *10= 547.500.000.000条记录。数据库记录具有唯一的键{date，id}。我需要每天恢复40毫米的记录，使用这个数据库。我将始终使用键{date，id}进行搜索。该流程可以批量运行。我考虑使用键值数据库，例如HBase，按日期对数据库进行分片。(不确定HBase是否允许您选择如何对集群中的记录进行</e
浏览 1提问于2014-07-18得票数 1
我想使用spring batch+drools+hibernate.
当我们一次有一百万份记录时，我们可以批量应用规则吗？
浏览 0提问于2019-05-13得票数 0
回答已采纳
我目前正在使用Spring Boot和Spring Batch应用程序从数据库中读取200,000条记录，处理它并生成XML输出。我编写了单线程Spring批处理程序，它使用JDBCPagingItemReader从数据库中批量读取10K条记录，并使用StaxEventItemReader生成此输出。整个过程需要30分钟。我想通过使用Spring Batch本地分区来增强这个程序。有没有人可以分享Java配置代码来完成Spring B
浏览 13提问于2017-07-10得票数 0
关于我的自定义编写器的配置，我在使用Spring Batch时遇到了问题，它基本上是一个RepositoryItemWriter@StepScope关于批次结构的一些补充但不相关的信息。我正在从一个大文件中读取，将其拆分成较小的文件。然后我使用一个多资源分区程序对我的步骤进行分区，处理器正在做一些格式控制，然后写入器只是
浏览 2提问于2020-05-27得票数 1
在KNN类算法中，为了预测记录，需要将模型数据加载到缓存中。
因此，如果模型是一个大文件say1或2GB，我们将能够将它们加载到分布式缓存中。示例：
为了进行预测，我们需要找出单个记录与模型结果中所有记录之间的距离，并求出最小距离。所以我们需要把模型的结果掌握在我们手中。如果是大文件，则不能将其加载到分布式缓存中以查找距离。一种方法是将模型结果分割成若干个文件，对该文件中的所有记录进行距离计算，找出类
浏览 3提问于2015-01-15得票数 0
2回答
我有一个数据库，在这里我们有数百万的记录。我们正在使用java逐个读取记录，并在一天结束后每天将这些记录插入到另一个系统。我们被告知要加快速度。我告诉他们我们将创建multiple thread using thread pool，这些线程将读取数据parallelly并注入到另一个系统中，但我不知道如何阻止线程再次读取相同的数据。如何使其更快、更好地实现数据一致性。我的意思是，如何在multithreading中更快地使用java，或者除了多线程之外，还有其他方法来实现这个过程？
浏览 8提问于2022-09-13得票数 1
1回答
kafka生产者读取每个CSV记录，并发送到具有2个分区和每个分区中的2个消费者的kafka主题。每个CSV文件可以有100 - 100,000条记录。每个消费者阅读同一主题，平均30秒可处理1000条记录。此外，如果正在处理一个<e
浏览 22提问于2020-11-12得票数 0
我将输入数据作为一个大文件存储在S3上。我想让Dask自动切分文件，分发给工作人员，并管理数据流。因此产生了使用分布式集合的想法，例如bag。这看起来像是在处理批量数据，而不是一次记录。PS。保持在分布式收集模型中并不是必要，但这是可取的，因为对数据的其他操作可能是更简单的Python函数，它们逐条记录地处理数据。
浏览 49提问于2017-07-11得票数 2
回答已采纳
我希望在不同的进程中运行许多批处理作业的jars，并在运行的实例中对文件中的数据进行分区。是的，我也是春季批次和xd的菜鸟。
浏览 3提问于2015-10-08得票数 1
回答已采纳
我目前正在java中构建一个kafka使用者，它只会显示特定topic和group id的分区(我有10个分区)和偏移量。我的当前代码显示给定输入的每条记录(或每行数据)。如果我有10个分区和15行数据，它将显示15行和多个分区实例。, %d)"+"\n", TOPIC, record.partition(), record.offset());
代码输出：预期输出显示的是每个分区的一个实例，而不是每个<
浏览 29提问于2018-10-18得票数 1
3回答
我在Spring应用程序中使用Logback进行日志管理，我是如何使用这些规范的：
使用以10 as为最大文件大小的滚动策略
浏览 7提问于2016-05-05得票数 0
在我的程序中，我使用任务并行库来减少进程的时间。我使用这段代码来完成这项工作。{ Task.Factory.StartNew(() => DoFiles(fullNum,NotFullNum, 2 , (e.Argument as string[])[1])),
Task.Factory.StartNew(() =>
浏览 6提问于2013-08-27得票数 3
); }唯一的区别是IEnumerable<PrettyFastTable>分区通常会比另一个大得多
浏览 0提问于2017-03-24得票数 1
我们有一个用例，其中使用来自RabbitMQ的消息，对其进行转换，并将记录推送到Kinesis流。RabbitMQ中的每条消息都对应于动态流中的一条记录。AmazonKinesisAsync支持PutRecordsRequestEntry，其中可以对多个记录进行分组以进行单个HTTP调用。我的问题是，在Spring中是否有任何开箱即用的组件，可以帮助将来自rabbitmq的消息按可配置的记录大小批量分组，然后再推送到
浏览 3提问于2021-09-20得票数 0
回答已采纳
1回答
批量插入/更新的应用程序设计
、、、、
我遇到了一个用例，用户可以通过UI为Postgres表更新发送批量记录。最大可能记录是60,000Business逻辑将对数据应用一些逻辑并插入/更新8个不同的表已经有一个Rest将处理一个记录作为输入并应用相同的业务逻辑和插入/更新8个不同的表
什么是最好的方法？方法1:创建1个rest，它将从post方法接收来自UI的数据，并格式化输入记录并调用现有的rest进行处理。对每个记录调用并行地调用api。方法2:创建弹簧批处理，它将
浏览 4提问于2021-11-16得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
