我正在优化将大约10TB的数据导入MySQL数据库的过程。目前,在当前的笔记本电脑上,我可以在大约14分钟内导入2.9 on (+0.8 on索引)。该过程包括读取数据文件(Oracle ".dat“导出)、解析数据、将数据写入CSV文件并对其执行"LOAD data LOCAL”sql命令。
是否有可能提高导入速度(无需更改硬件)?有没有办法消除将文件写入文件
基本上,问题在于我的PHP中有一个简单的上传函数,它上传一个CSV文件,然后将每一行导入MYSQL数据库。现在,问题是我在CSV文件中有200+行,但是当我使用我的158 of them imported页面上传并导入到MYSQL时,我只会绕过158 of them imported,而且我也没有任何错误,我有另一个包含300+ rows的CSV文件,当我上传/导入这个<