前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >R|批量循环处理同一格式文件-csv,txt,excel

R|批量循环处理同一格式文件-csv,txt,excel

作者头像
生信补给站
发布2020-08-06 11:19:10
1.7K0
发布2020-08-06 11:19:10
举报
文章被收录于专栏:生信补给站生信补给站

在一个文件夹下有很多字段一致,格式统一的数据文件(csv,txt,excel),可以使用R快速的统一成一个文件方便后续分析和处理。

数据准备

将需要处理的字段一致,格式统一的数据文件(csv,txt,excel),放到文件夹内,并将此文件夹设置为工作目录,下面分情况介绍如何批量读取并合并数据。

1)文件夹内只有一种格式的文件:csv,txt,excel;

2)文件夹内有多种格式的文件:csv,txt,excel以及其他的png,pdf等文件;

数据处理

1 仅有一种类型文件,此处以csv示例

设定工作目录,将需要处理的数据文件放到工作目录下

#查看当前路径下所有文件

代码语言:javascript
复制
#setwd(D:\\..\\data\\)a = list.files()    a 
代码语言:javascript
复制
#命令构建路径变量dir(方便更改),也可以不构建,后面示例                               dir = paste("./",a,sep="")                
#读取dir长度,也就是文件夹下的文件个数
n = length(dir)                                      
#读入第一个文件内容
merge.data = read.csv(file = dir[1],header=T,sep=",")  

#循环从第二个文件开始读入所有文件,并组合到merge.data变量中
for (i in 2:n){
   new.data = read.csv(file = dir[i], header=T, sep=",")
   merge.data = rbind(merge.data,new.data)
}

#输出组合后的文件merge.csv到input文件
write.csv(merge.data,file = "./merge_all.csv",row.names=FALSE)  
2 存在多种类型文件,仅读取csv格式文件

当工作目录下多种类型文件时,只读取其中一种

代码语言:javascript
复制
list.files()
代码语言:javascript
复制
#提出目录下的所有csv文件,后面介绍另一种方式
a = list.files(pattern = ".csv")                                    
#不构建路径变量,直接读入第一个文件内容
merge.data = read.csv(a[1],header=T,sep=",")  

#循环从第二个文件开始读入所有文件,并组合到merge.data变量中
for (i in 2:n){
   new.data = read.csv(a[i], header=T, sep=",")
   merge.data = rbind(merge.data,new.data)
}
#输出组合后的文件merge.csv到input文件
write.csv(merge.data,file = "./merge_only_csv.csv",row.names=FALSE)  

注:因txt文件亦可以直接用R基本读入方式读取,更改read.table即可,此处不举例。

3 存在多种类型文件,仅读取excel格式文件

因R不能直接读取excel文件,需要加载R包,个人习惯利用readxl包读取。

代码语言:javascript
复制
#install.packages("readxl")
library(readxl)
#另一种方式提出目录下的所有excel文件
list <- list.files()
a <- grep('\\.xlsx', list, value = TRUE)

n = length(a)
merge.data = read_excel(a[1])  
#循环从第二个文件开始读入所有文件,并组合到merge.data变量中
for (i in 2:n){
   new.data = read_excel(a[i])
   merge.data = rbind(merge.data,new.data)
}
#输出组合后的文件merge.csv到input文件
write.csv(merge.data,file = "./merge_only_excel.csv",row.names=FALSE)  

低时间投入成本,高效率回报?

本文参与 腾讯云自媒体分享计划,分享自微信公众号。
原始发表:2019-09-19,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 生信补给站 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 1 仅有一种类型文件,此处以csv示例
  • 2 存在多种类型文件,仅读取csv格式文件
  • 3 存在多种类型文件,仅读取excel格式文件
相关产品与服务
文件存储
文件存储(Cloud File Storage,CFS)为您提供安全可靠、可扩展的共享文件存储服务。文件存储可与腾讯云服务器、容器服务、批量计算等服务搭配使用,为多个计算节点提供容量和性能可弹性扩展的高性能共享存储。腾讯云文件存储的管理界面简单、易使用,可实现对现有应用的无缝集成;按实际用量付费,为您节约成本,简化 IT 运维工作。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档