我的目标是将XML元素添加到现有的XML文件中(相当大,~90 My ),同时解析CSV文件以知道我应该针对哪个元素。最困难的部分是XML和CSV文件都很大。CSV文件有720 k行,,所以我的脚本需要好几天才能完成,这是不能接受的。经过一些搜索,我找到了一种从CSV文件解析中“消除”瓶颈(如果存在的话)的方法,方法是使用生成器而不是在内存中构建720 k元素数组
我使用以下命令将MySQL表的一些字段(包括JSON字段(Attributes))导出到CSV文件中:
SELECT name, attributes, product_url FROM productsINTO OUTFILE '/var/lib/mysql-files/toys.csv' FIELDS TERMINATED BY ',' ENCLOSED BY '"' LINES TERMIN