将未规范化数据集大容量加载到PostgreSQL中的最有效方法？
将未规范化数据集大容量加载到PostgreSQL中的最有效方法？
提问于 2010-10-26 10:49:12
我已经加载了一个巨大的CSV数据集-- Eclipse的过滤使用数据使用PostgreSQL的副本，而且它占用了很大的空间，因为它没有规范化:三个文本列被更有效地重构成单独的表，从主表中引用外键列。
我的问题是:是在加载所有数据之后重构数据库，还是创建包含所有约束的预定表，然后加载数据？前者涉及重复扫描一个大型表(接近10^9行)，而后者则涉及对每个CSV行执行多个查询(例如，以前是否见过此操作类型？如果没有，则将其添加到actions表中，获取其ID，在主表中创建一个具有正确动作ID的行，等等)。
现在，每个重构步骤大约需要一天左右，初始加载也需要大约相同的时间。
回答 1
Stack Overflow用户
回答已采纳
发布于 2010-10-26 14:06:52
根据我的经验，您希望将您所关心的所有数据都放到数据库中的暂存表中，然后再进行尽可能多的基于集的逻辑操作，很可能是通过存储过程。加载到暂存表时，表上没有任何索引。在将数据加载到表后创建索引。
请查看此链接以获得一些提示http://www.postgresql.org/docs/9.0/interactive/populate.html
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/4022926
复制相关文章
相似问题
腾讯云开发者
