Spring批处理JdbcCursorItemReader导致内存不足问题
Spring批处理JdbcCursorItemReader导致内存不足问题
提问于 2019-03-28 05:56:31
我正在使用spring批处理框架进行数据迁移。我使用的阅读器是JdbcCursorItemReader。我将块大小设置为500，并将读取器获取大小设置为1000。但是，当使用spring批处理运行服务时，它似乎只读取了内存中的所有数据一次，并耗尽了内存。然后抛出一个记忆不够的问题。下面是我如何定义读者的方法：
private JdbcCursorItemReader<Map<String, Object>> buildItemReader(final DataSource dataSource, String tableName,String tenant) {
String tenantName = tenantHelper.determineTenant(tableName);
JdbcCursorItemReader<Map<String, Object>> itemReader = new JdbcCursorItemReader<>();
itemReader.setDataSource(dataSource);
itemReader.setSql("select * from " + tableName + " where " + tenantName + " ='" + tenant + "'");
itemReader.setRowMapper(new ColumnMapRowMapper());
itemReader.setFetchSize(100);
return itemReader;
}此外，从春季批处理文档这里中，我们应该能够通过使用jdbcCursorItemReader来避免内存问题。
Stack Overflow用户
回答已采纳
发布于 2019-04-16 03:20:08
通过使用jdbcPagingItemReader解决了这个问题。游标读取器消耗大量内存的根本原因是它只是将所有数据读入内存，然后进行处理，JVM将将其视为一个大对象，并将其直接分配给老一代，直到整个进程完成，才能将其收集起来。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/55390995
复制相关文章
相似问题
腾讯云开发者
