单细胞处理数据中读取超大文件的几种方法
原创单细胞处理数据中读取超大文件的几种方法
原创
JJJJack
发布于 2023-10-27 05:38:46
发布于 2023-10-27 05:38:46
处理单细胞转录组数据的时候，总是难免碰到需要读取大文件的情况。
今天遇到了几次，每次读取总是需要等候一个小时。在这里跟大家分享一下三种读取方式时间消耗的比较：
目标文件：
scp_gex_matrix_raw.csv （4.5Gb）
scp123 <- read.csv("scp_gex_matrix_raw.csv",sep = ",",header = TRUE) #super slow
scp123 <- read.delim("scp_gex_matrix_raw.csv",sep = ",",header = TRUE) #faster
scp123 <- fread("scp_gex_matrix_raw.csv",sep = ",",header = TRUE) #super faster实际操作了一下三种读取方式的时间，发现最后一种fread方法最为快速，2min不到的时间就可以读取4.5Gb大小的文件。
原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。
如有侵权，请联系 cloudcommunity@tencent.com 删除。
原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。
如有侵权，请联系 cloudcommunity@tencent.com 删除。
评论
登录后参与评论
推荐阅读