文章/答案/技术大牛

发布

社区首页 >问答首页 >将Fastq文件直接读入Pandas Dataframe

问将Fastq文件直接读入Pandas Dataframe
EN

Stack Overflow用户

提问于 2022-05-17 12:54:56

回答 1查看 290关注 0票数 0

我正在尝试将Fastq文件直接读入熊猫数据框，类似于下面的链接：

Read FASTQ file into a Spark dataframe

我搜遍了，只是找不到可行的选择。

目前，我正在运行以下操作：

cmd = f'zcat {infile} | paste - - - -'
p = subprocess.Popen(cmd, stdout=subprocess.PIPE, shell=True)
b = StringIO(p.communicate()[0].decode('utf-8'))

_ = pd.read_csv(b, sep='\t', names=['read_id', 'seq', '+', 'qual'], on_bad_lines='skip', dtype=str, chunksize=1000000)

是否有一种更干净的方法只使用pandas？我正在考虑设置sep='\n'，但之后我只得到了1行多列。我是否可以读取文件，然后每4行就创建4个所需的列(或类似的内容)？

速度是我真正想要的，所以最快的解决方案将是最好的。

附带注意:我的Fastq文件将不适合内存，所以我将不得不分块读取

bash

bioinformatics

fastq

python

pandas

回答 1

Stack Overflow用户

发布于 2022-05-17 14:23:26

所以我发现了一些有用的东西(以防其他人想做类似的事情)：

import pandas as pd

pd.DataFrame(pd.read_csv(<infile>, sep='\n', header=None).values.reshape(-1, 4), columns=['read_id', 'seq', '+', 'qual'])

我的想法是：

Transpose the data in a column every nth rows in PANDAS

(谢谢你的建议)

票数 1

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/72274452

复制

相似问题

问将Fastq文件直接读入Pandas Dataframe
EN

回答 1

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问将Fastq文件直接读入Pandas DataframeEN

回答 1

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问将Fastq文件直接读入Pandas Dataframe
EN