存储MySql查询结果以实现更快的重用
存储MySql查询结果以实现更快的重用
提问于 2017-04-04 15:48:25
我正在分析python中来自MySql数据库的数据。我查询数据库中大约20万行数据，然后使用Pandas在python中进行分析。我经常对相同的数据进行多次迭代，更改不同的变量、参数等等。每次运行该程序时，我都会查询远程数据库(大约10秒的查询)，然后在程序完成时丢弃查询结果。我想将最后一个查询的结果保存在本地文件中，然后每次运行程序时检查查询是否相同，然后只使用保存的结果。我想我可以将Pandas数据文件写到csv，但是有更好/更容易/更快的方法吗？
回答 2
Stack Overflow用户
回答已采纳
发布于 2017-04-04 19:24:16
如果由于任何原因，MySQL 查询缓存没有帮助，那么我建议以HDF5格式或Feather格式保存最新的结果集。这两种格式都非常快。您可以在这里找到一些演示和测试：
https://stackoverflow.com/a/37929007/5741205
Stack Overflow用户
发布于 2017-04-04 19:49:59
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/43211962
复制相关文章
相似问题
腾讯云开发者
