首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >问答首页 >在插入下一批数据之前确定CSV大小

在插入下一批数据之前确定CSV大小
EN

Stack Overflow用户
提问于 2020-06-01 17:45:40
回答 1查看 321关注 0票数 0

我正在开发一个特性,需要从Oracle表中获取数据,并且每一行表都映射到一个Java对象。因此,我将有一个记录列表,我需要用这些数据创建一个CSV文件。

这里要考虑的不同情况如下:

  1. 将有数以百万计的记录,我将分10k批获取数据。
  2. 每批10k记录将被附加到csv.

限制:

  1. CSV文件不应超过100 MB。
  2. 如果在任何时候,大小超过100 MB,我应该创建一个新的CSV文件.

问题:

  1. 如何确保在CSV文件大小达到100 MB时不插入记录?
  2. 假设我有包含10k employee对象的记录列表,并以某种方式计算该列表的大小为1MB。因此,如果我把这些记录放在csv中,csv的大小也会是1MB吗?

EN

回答 1

Stack Overflow用户

发布于 2020-06-01 18:39:27

我提出以下解决办法。首先,我们不应该在一个查询中读取来自Oracle的数百万条记录。Oracle表应按日期、月、年或任何其他标准进行分区。您可以控制记录的数量并将其写入文件中。

其次,csv文件的大小。不需要在添加到csv文件之前查看csv文件大小,您可以查看java中的结果对象的大小,并确定要在该批追加中追加多少记录。

票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/62137915

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档