问不向磁盘写入文件的MySql大容量导入
EN

Stack Overflow用户

提问于 2011-06-30 01:48:06

回答 1查看 381关注 0票数 0

我有一个运行mysql数据库后端的django网站。我接受相当大的上传从一个管理员用户批量导入一些数据。数据的格式与其在数据库中所需的格式略有不同，因此我需要进行一些解析。

我希望能够将这些数据转换为csv，并将其写入cStringIO对象，然后简单地使用mysql的批量导入命令来加载该文件。我宁愿先跳过将文件写入磁盘的过程，但我似乎找不到解决方法。我过去基本上用postgresql做过这样的事情，但不幸的是这个项目是在mysql上进行的。

简而言之:我是否可以使用内存中类似对象的文件，并以某种方式使用mysql大容量导入操作

发布于 2011-06-30 01:59:12

有一个名为的优秀教程，介绍了如何处理大型日志文件，它与您的情况相似，但又不完全相同。只要您可以执行所需的转换，并且只访问流中的当前数据(可能还有以前的数据)，这可能对您有效。

我在许多答案中都提到了这个宝石，因为我认为它引入了一种不同的思维方式，这是非常有价值的。还有一个配套的，它会让你头昏脑胀的。

票数 2

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/6525010

复制

相似问题

问不向磁盘写入文件的MySql大容量导入EN