Spring批处理JdbcCursorItemReader导致内存不足问题
Spring批处理JdbcCursorItemReader导致内存不足问题
提问于 2019-03-28 05:56:31
我正在使用spring批处理框架进行数据迁移。我使用的阅读器是JdbcCursorItemReader。我将块大小设置为500，并将读取器获取大小设置为1000。但是，当使用spring批处理运行服务时，它似乎只读取了内存中的所有数据一次，并耗尽了内存。然后抛出一个记忆不够的问题。下面是我如何定义读者的方法：
private JdbcCursorItemReader<Map<String, Object>> buildItemReader(final DataSource dataSource, String tableName,String tenant) {
String tenantName = tenantHelper.determineTenant(tableName);
JdbcCursorItemReader<Map<String, Object>> itemReader = new JdbcCursorItemReader<>();
itemReader.setDataSource(dataSource);
itemReader.setSql("select * from " + tableName + " where " + tenantName + " ='" + tenant + "'");
itemReader.setRowMapper(new ColumnMapRowMapper());
itemReader.setFetchSize(100);
return itemReader;
}此外，从春季批处理文档这里中，我们应该能够通过使用jdbcCursorItemReader来避免内存问题。
回答 3
Stack Overflow用户
回答已采纳
发布于 2019-04-16 03:20:08
通过使用jdbcPagingItemReader解决了这个问题。游标读取器消耗大量内存的根本原因是它只是将所有数据读入内存，然后进行处理，JVM将将其视为一个大对象，并将其直接分配给老一代，直到整个进程完成，才能将其收集起来。
Stack Overflow用户
发布于 2019-03-28 17:10:19
您可以尝试使用JdbcPagingItemReader而不是JdbcCursorItemReader，在这里可以在配置页面时设置页面大小。
Stack Overflow用户
发布于 2019-03-28 14:53:59
我只是不明白为什么它会使用所有的内存并将所有的数据加载到内存中。
根据Postgresql文档，驱动程序一次收集查询的所有结果。
您可能可以通过将获取大小设置为0来关闭游标。如上述文档中所解释的，还有其他约束，请确保您的代码满足所有这些约束。仅供参考，这类似于MySQL可能发生的情况，在那里，应该将获取大小设置为Integer.MIN_VALUE以流结果(参见这里和这里)。
希望这能有所帮助。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/55390995
复制相关文章
相似问题
腾讯云开发者
