我们目前正在将非常大的CSV文件导入到mySQL数据仓库中。处理的一个关键部分是标记CSV文件中的记录是否与仓库中的现有记录匹配。“匹配”是通过将新数据中的特定字段与表的先前版本进行比较来完成的。如果记录是“新的”或者有更新,我们希望将其添加到仓库中。目前的处理计划如下: ~ is primary key on A on old-A?UPDATE"
~ process NE
我正在记录它提供的一些信息,并将其存储在一个MySQL数据库中。这并不是真正的问题,然而,我的问题是如何有效地保持数据与数据库的同步。
例如,在某一时刻,我可能有3个I 1001、1002、1003。我想我可以选择,找出差异,然后对丢失/添加的ID发出删除/插入命令。或者可能是DELETE NOT IN (),然后是INSERT。但是由于这个脚本一直在运行,所以我担心这不是很有效。