使用JSON对象的值大容量更新DB表
使用JSON对象的值大容量更新DB表
提问于 2016-09-28 20:10:39
我有一个PHP程序，它从API中获取100个不同城市随后240个小时的天气预报数据(总共有24.000个记录；我将它们保存在一个表中)。该程序为每个城市和每一个小时，气温、湿度、降水概率、天空覆盖和风速。这些数据是JSON格式的，我必须将所有数据存储到数据库中，最好是mySQL。对所有城市来说，这一行动必须在一次时间内完成，这一点很重要。
因为我想每10分钟更新一次值，所以性能是非常重要的。如果有人能告诉我用JSON的值更新我的表的最有效方法，那将有很大帮助。
到目前为止，我已经尝试了以下策略：
1)解码JSON，并使用一个带有准备好的语句的循环，每次更新每个值{太慢}；
2)使用存储过程{我不知道如何传递整个JSON对象的过程，而且我知道可以传递的单个参数数量有限；
3)使用LOAD DATA INFILE { csv文件的生成太慢}；
4)使用UPDATE with，动态生成sql {字符串得到的时间太长，执行速度太慢}。
如果需要，我很乐意提供更多的信息。
回答 1
Stack Overflow用户
回答已采纳
发布于 2016-09-28 21:19:19
你有一张有十几列的单桌，对吗？你需要每10分钟插入100行，对吗？
每秒钟插入100行这样的内容只会有点困难。请给我们看看SQL代码；它一定出了问题。我无法想象你的任何选择都会超过几秒钟。“几秒钟”是不是太慢了？
还是表只有100行？你每10分钟发布100次更新？但还是没出汗。
重建技术：
如果可行的话，我将用新的数据构建一个新表，然后交换表：
CREATE TABLE new LIKE real;
Load the data (LOAD DATA INFILE is good if you have a .csv)
RENAME TABLE real TO old, new TO real;
DROP TABLE old;没有停机时间--无论负载需要多长时间，real总是可用的。
(在数据库中进行大规模更新需要付出更多的“努力”；重新加载应该更快。)
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/39756796
复制相关文章
相似问题
腾讯云开发者
