我正在使用以下命令查询数据库spark.read.jdbc 方法非常大,并得到以下错误:com.mysql.cj.jdbc.exceptions.PacketTooBigException: Packetfor query is too large (15,913,800 > 4,194,304) 这表明检索到的数据太大。我没有更改数据库设置的选项,并且我需要能够检索所有数据,所以我希望以块的形式读取数据,并使
使用Node.JS(LTS)读取大量文件(>~10 is )的最有效方法是什么?实际上,在当今世界中,我需要读取文件内容,将每一行解析为已知的数据结构,执行某些验证,然后将数据结构推入数据库(SQL Server)。我使用的是C#(内存映射文件)。它工作得很好,因为我能够以块的形式(并行)读取文件。有什么线索