神技能-自动化批量从PDF里面提取表格
昨天的神技能阅读量堪忧：听说我们生信技能树论坛搜索功能失效？ 最近给学徒布置了一个作业，是一篇文章的数据图表重现，如下：
image-20190627153442135
很简单，就是参考文献的28个免疫基因集拿出来，对从GEO下载的表达矩阵进行ssGSEA分析的结果热图呈现即可，比较难的应该是理解那28个免疫基因集，并且拿到每个基因集对应的基因列表，我本来以为是
- 2013的CELL文章：Spatiotemporal Dynamics of Intratumoral Immune Cells Reveal the Immune Landscape in Human Cancer
- 结果是2016的CELL reports文章：Pan-cancer Immunogenomic Analyses Reveal Genotype-Immunophenotype Relationships and Predictors of Response to Checkpoint Blockade
表现优异的学徒
但是拿到学徒提交的代码才眼前一亮，她居然是从上面文章的PDF附件里面，使用R语言的pdftools包进行自动化读取，并且格式化成为基因集列表进行后续ssGSEA分析，虽然代码很丑，但是实现了目的，PDF如下所示：
image-20190627153442135
可以看到第 20到36页，是记录着基因集信息。
读取PDF并且提取信息的代码如下：
rm(list=ls())
library(pdftools)
options(stringsAsFactors = F)
b <- pdf_text('SupplementaryTables.pdf')
geneset_substract<- function(tmp){split_to_line<- gsub('\r','',strsplit(tmp,split = '\n')[[1]])
gene_name<- apply(data.frame(split_to_line),1,function(x){ line<- strsplit(x,split=' ')[[1]]
pos<- grep('[A-Za-z\\d+]|\\d+',line)
res <- line[pos[1]]})
cell_type<- apply(data.frame(split_to_line),1,function(x){ line<- strsplit(x,split=' ')[[1]]
pos<- grep('[A-Za-z\\d+]|\\d+',line)
res <- line[pos]
res <- res[c(-1,-length(res))]
s <- ''
for (i in 1:length(res)){
s<- paste(s,res[i])}
return(s)})
result<- data.frame(gene_name,cell_type)
return(result)
}
gene_set <- data.frame()
for(i in 20:36){
gene_set<- rbind(gene_set,geneset_substract(b[i]))
}
gene_set <- gene_set[c(-1,-2),]
list <- list()
for(i in 1:length(unique(gene_set$cell_type))){
list[[i]] <- gene_set$gene_name[gene_set$cell_type== (unique(gene_set$cell_type)[i])]
}
names(list)<- unique(gene_set$cell_type)得到的基因集列表如下：
后续ssGSEA分析以及热图可视化，见生信菜鸟团的周一数据挖掘专场吧，这里留个悬念哈！
apply家族函数要活学活用
不过， 我还是觉得学徒代码太丑，修改了一下：
rm(list=ls())
library(pdftools)
options(stringsAsFactors = F)
b <- pdf_text('SupplementaryTables.pdf')
tmp = unlist(lapply(20:36, function(i){
trimws(strsplit(b[[i]],split = '\n')[[1]])
}))
tmp=tmp[-c(1,2)]
library(stringr)
tmp=do.call(rbind,lapply(str_split(tmp,' '), function(x){
x=x[-length(x)]
gene_name<- x[1]
cell_type<- trimws(paste(x[-1],collapse = ' '))
return(c(gene_name,cell_type))
}))
immune_list <- split(tmp[,1],tmp[,2])后记
我相信这个技巧在很多场合都蛮有用的，不仅仅是生物信息学，如果你根据我们的教程学了后用到了可以发邮件跟我们交流哦。
本文参与 腾讯云自媒体分享计划，分享自微信公众号。
原始发表：2019-06-28，如有侵权请联系 cloudcommunity@tencent.com 删除
评论
登录后参与评论
推荐阅读