我需要使用NodeJS将大约250万行从MySQL迁移到Firebase,并寻找有效的方法来做到这一点。
在MySQL数据库中,有些列是BLOB类型的,因此我需要将它们转换为文本。我使用的是转换函数,所以示例查询应该是这样的:
SELECT
FLOOR((id >> 8) / 1000) AS 'createdAt',
CONVERT( log_1 USING utf8mb4) AS 'log_1',
CONVERT( log_2) AS 'log_2',
m.direction as 'direction'
FROM
table;
这是我的第一个问题,有没有一种方法可以在几次迭代中获得某些批处理的数据,而不是在一个事务中获取全部250万行?MSSQL中的SKIP TAKE之类的东西?
有了所有来自MySQL的数据,我需要将它们转换成某种结构,按某种属性分组,最终将它们存储在Firebase中。做这件事最有效的方法是什么?我猜只有一个for..loop和只调用set function的文档保存是不会有效果的。
await fb.collection('test').doc().set(chatCollection[i])
https://stackoverflow.com/questions/56517853
复制相似问题