我有一个CSV文件可以包含大约百万条记录,如何删除以开头的列
_
并生成结果csv
为了简单起见,假设我有以下csv
Sr.No Col1 Col2 _Col3 Col4 _Col5
1 txt png 676766 win 8787
2 jpg pdf 565657 lin 8787
3 pdf jpg 786786 lin 9898
我希望输出是
Sr.No Col1 Col2 Col4
1 txt png win
2 jpg pdf lin
3 pdf jpg lin
我是否需要读取整个文件来实现这一点,或者是否有更好的方法来实现这一点。
const csv = require('csv-parser');
const fs = require('fs');
fs.createReadStream('data.csv')
.pipe(csv())
.on('data', (row) => {
// generate a new csv with removing specific column
})
.on('end', () => {
console.log('CSV file successfully processed');
});
任何关于我如何实现这一点的帮助都将是有帮助的。
谢谢。
发布于 2020-07-02 18:58:43
写给那些偶然发现这篇文章的人
我可以使用下面的代码来转换csv
和
模块。
await fs.createReadStream(m.path)
.pipe(csv.parse({delimiter: '\t', columns: true}))
.pipe(csv.transform((input) => {
delete input['_Col3'];
console.log(input);
return input;
}))
.pipe(csv.stringify({header: true}))
.pipe(fs.createWriteStream(transformedPath))
.on('finish', () => {
console.log('finish....');
}).on('error', () => {
console.log('error.....');
});
来源:
https://gist.github.com/donmccurdy/6cbcd8cee74301f92b4400b376efda1d
https://stackoverflow.com/questions/62675000
复制相似问题