Snakemake使用不同文件夹中的输入文件按名称汇总 - 腾讯云开发者社区

文章/答案/技术大牛

发布

ExcelVBA-批量打开文件夹中的所有文件，并查找指定姓名再复制整行数到汇总表

ExcelVBA-批量打开文件夹中的所有文件，并查找指定姓名再复制整行数到汇总表【问题】今天碰到一个问题，要社保系统中导出的在许多文件中查找到某个姓名的并复制数据到汇总表，难点一：如果有许多文件，...常规的做法是打开一个文件===查找===复制===粘贴===关闭，再来一次，难点二:要命的社保系统，数据中有很多合并的单元格，查找的时候速度很慢，也很难复制难点三：这样的问题以后可能还常常有。...【想一想】天啊要做到什么时候，如果以后也有同样的事，我是不是也一样这样做呢！，想想都怕怕啊，能不能一键完成，我再整合成一个函数，以后也相应的问题也会快一点呢！这样岂不是一件一劳永逸的事吗？...====代码图片版本如下==== ====效果如下动图=== 代码解析： Alt+F11,新建一个模板，把它放在里面，按play就可以啦先打开文件对话框，选择要找的文件夹，全选所有的文件，文件名与路径存入到数据中...，再循环数组，打开文件，在工作表“编辑”（这个工作表要先设定）中用find查找数据，如果找到了就进行整行复制，到汇总表中。

2.9K2 0

使用snakemake编写生信分析流程

下边是snakemake中的一些概念。rule脚本中的一步小的分析叫做rule，名字可以随便起，但是不能重名，也要符合python变量命名规范。...wildcardsnakemake使用正则表达式匹配文件名，比如下边的代码fastpse脚本中，我们使用{s}{u}去代替两个字符串，而且我们也可以对这两个字符串的内容进行限制。...wildcard_constraints: s="|".join(["GSM6001951","GSM6001952"]), u="|".join(["L1","L2""L3""L4"])所以fastp_se中的输入文件只能匹配到如下结果...，这也刚好是我raw文件夹下的4个需要分析的文件。...文件，虽然很长，其实就是一个判断你输入内容，然后交给fastp去执行的python脚本，所以我们需要按照作者的要求提供输入和输出文件名字，以及适当的额外参数。

8884 0

您找到你想要的搜索结果了吗？

是的

没有找到

snakemake 学习笔记2

一个稍微复杂的案例, 看看snakemake的用法....过程介绍 1, 安装snakemake 2, 新建文件 3, 新建一个简单的Snakemake参数文件 4, 扩展, 去关联输出文件 5, 使用全局变量, 关联文件 6, 批量运行 1, 安装snakemake...格式是FASTQ的文件, 然后经过下面两步处理: 第一步: 数据质量控制第二部: 将基因表达合并为一个文件创建文件创建genome.fa文件, 使用touch创建空文件即可创建fastq文件夹...在fastq文件夹中, 创建Sample1.R1.fastq.gz Sample1.R2.fastq.gz Sample2.R1.fastq.gz Sample2.R2.fastq.gz四个空文件 touch...，名称为all， input使用expand函数, 能够将数组的内容解析给{sample} rule all: input: expand('{sample}.txt', sample

1.3K3 0

使用Python实现批量更改文件夹下图片的名称

一、前言前几天在Python白银交流群有个叫【belongs】的粉丝问了一个使用Python实现批量更改文件夹下图片的名称的问题，如下图所示。他有个文件夹，里面都是照片，怎么批量更改文件名？...只需要文件名依次递增，如1.gif，2.gif。二、实现过程这里【月神】给了一个解决方法，直接上代码了。...后来【瑜亮老师】还给了一个方法，适合在【windows】系统下操作，方法是：全选图片，然后在全选的情况下对第一个图片重命名，后面其他的自动会有序号。...如果用代码删除重复的，可以用图片的大小来删除，os.path.getsize可以知道文件的大小，然后删除图片文件大小相同的就容易了。...这篇文章主要分享了使用Python实现批量更改文件夹下图片的名称的问题，文中针对该问题给出了具体的解析和代码演示，一共两个方法，帮助粉丝顺利解决了问题。

2.6K1 0

使用MAGeCK-VISPR生成CRISPR Screen分析流程

1- 背景介绍刘小乐教授的CRISPR-Screen的分析工具除了MAGeCK之外，还有MAGeCK-VISPR 其实从名称看，我一度以为VISPR就只更加侧重于可视化，但当我实操的时候我发现其可以自动生成...snakemake文件，实现分析的流程化。...文件config.yaml 换了文件夹再运行了一次，发现旧文件没有被覆盖。...注释掉再次 snakemake -n 这下对了，能看到进程总览运行snakemake文件 snakemake --cores 8 运行结束后的界面 7- 输出结果 8- 软件优势 1-...能提供完整的pipeline文件，直观看到分析中使用的参数，方便参考和流程的整理 2-结合了snakemake的优势，批量操作便捷

1.8K2 0

ExcelVBA汇总文件夹中的所有文件指定工作表到一个文件中并进行求和

ExcelVBA汇总文件夹中的所有文件指定工作表到一个文件中并进行求和【问题】：有一个格式固定的表格，我们下发给下面的单位做，上交上来有很多个文件，想要做的是汇总下面各学校交上来的表格并求和 1.许多个文件...) '--------取得用户选择的文件夹路径 .InitialFileName = ThisWorkbook.Path If .ShowThen strPath..., 1) "\" Then strPath = strPath &"\" ' MsgBox"选择了：" &Chr(10) & strPath strKey =InputBox("请输入工作表名称所包含的关键词....Close False EndWith End If mfile = Dir Loop End Sub 运行，可以得到所有的文件的指定工作表汇总到一个文件中...B6)把所有工作表中是B6单元格求和= 在b6输入= sum(‘*’!B6),Enter, 把所有工作表中是B6单元格求和，再右拉，再下拉，就可以啦

2.3K2 0

Python识别文件名中的字段从而分类、归档栅格文件到不同文件夹

本文介绍基于Python语言，针对一个文件夹下的大量栅格遥感影像文件，基于其各自的文件名，分别创建指定名称的新文件夹，并将对应的栅格遥感影像文件复制到不同的新文件夹下的方法。 ...其中，如上图中紫色框所示，每一景遥感影像文件的文件名称中，都有一个表示其编号的字段；我们希望基于这一编号字段，将带有相同编号字段的栅格遥感影像文件，以及其对应的辅助信息文件，都复制到一个结果文件夹中；这个结果文件夹如下图所示...其中，结果文件夹内含有多个不同编号的子文件夹，这个编号就是上上图中，栅格遥感影像所带有的编号。...例如，我们希望将所有文件名称中带有15字段的栅格遥感影像文件及其辅助信息文件，都复制到结果文件夹中名称为15的子文件夹中，以此类推。知道了具体需求，我们即可开始代码的撰写。...如下图所示，可以看到结果文件夹中，名称为15的子文件夹内，包含的就是文件名称中带有15字段的所有遥感影像文件及其对应的辅助信息文件。至此，大功告成。

1701 0

VBA汇总文件夹中的多文件的工作表中不同单元格区域到总表

VBA汇总文件夹中的多文件的工作表中不同单元格区域到总表【问题】我们发了这样一个表格到各单位收集资料，各单位填写完后上交上来有许多个文件，我们现在想汇总成一年一个表，怎么办？...◆表格是先设定后的一样的格式 ◆收上来后有很多个文件 ◆我们想汇总成这样的“一年一个汇总表” 【难点】正常的做法是一个文件打开---复制2016年的—粘贴………再复制2017年的—粘贴…………再复制...那就加班，再加班【解决问题】我们的口号是VBA使工作效率提高，不加班 ====【代码】==== Sub 提取多文件一工作表中不同区域汇总() Dim fileToOpen, x, total_file_path...用Application.GetOpenFilename打开一个选择文件的对话框，可以多选，把选择的文件存入到fileToOpen的数据中 2.循环数组， 3.打开一个文件，并复制全部的区域，到指定的2016...-2018的表格中，下一次的复制，复制到最后的一行中的A列中， 4.因为在打开文件的过程中可能有些人在传输文件中，文件损坏了，所以加上On Error Resume Next，不报错继续运行。

2.3K2 1

一步一步用Snakemake搭建gatk4生成正常样本的germline突变数据库的流程

Snakemake的使用 Snakemake是基于Python写的流程管理软件，我理解为一个框架。Snakemake的基本组成单位是rule，表示定义了一条规则。...configfile: "config.yaml" Snakemake读取配置文件后会将数据保存为字典，这是一个简单的示范，配置文件也可以写的复杂，比如定义每个样本所用的bed文件或不同的分析参数。...fastq文件，output为样本目录下clean_fq文件夹下的两个去过接头的fastq文件，shell里就是我们平常写的shell命令，只不过可以把输入文件和输出文件用input和output替代。...，也可以直接从配置文件中读取。...文件，使用python的expand命令将每个样本的vcf文件依次添加到一个列表中。

3.2K4 0

流程管理工具snakemake学习笔记杂记

，看有的文档说是最终保留的文件，我这里rule all 只写了了最终的html和json，但是最终的结果里是有过滤后的fastq文件的还有好多基础知识需要看路径里的文件夹如果不存在会新建一个文件夹...snakemake学习笔记002：hisat2+samtools+stringtie流程转录组分析今天的内容增加了config文件 input_folder: "/home/myan/scratch...snakemake文件的内容 configfile: "config.yaml" import os import glob print(config) print(config['input_folder...HISAT, StringTie, and Ballgown 中的数据 snakemake学习笔记003：stringtie合并转录本 SRR, = glob_wildcards("output.gtf...@output[["rdat"]]) 这里有一个问题是snakemake流程里怎么样使用已经存在的conda环境，看这个流程的时候 https://github.com/Alipe2021/NLncCirSmk

9402 0

Snakemake+RMarkdown定制你的分析流程和报告

输入导向的运行方式，需要先确定输入文件....如果是在输出导向的snakemake 中，则需要先确定输出文件。...se,如果是单端的，我们使用se 作为key值然后编写代码进行文件的更名，创建Snakefile 文件，snakemake默认运行该文件的内容 touch workflow/Snakefile #...snakemake 使用all rule 来收集所有最终输出文件。...这些区域在不同的实验中表示不同的研究重点，在组蛋白/转录因子的 ChIPseq 和 CUT&Tag 实验中为组蛋白的修饰位点/转录因子结合位点，ATACseq 实验中为开放染色质区。

3.3K3 0

workflow01-初探snakemake

而snakemake 则是一种以输出为导向，向后回顾backward-looking 的方法，其工作流首先确定需要的输出文件类型，接下来选择适当地输入文件及软件以得到对应的输出。...所有的输入文件将会在工作流中各自独立执行。此外，snakemake 还可以与conda 搭配。...这个规则让raw 文件夹中的测序数据作为输入，经过TrimmoMcAwesome处理后，输出到awesome 中。...虽然我们知道通配符代表了我们将要输入输出文件的命名范式，但snakemake 并不知道对应哪些文件。...因为此时，snakemake 成功地将我们指定的文件对应到了规则中的通配符位置。

1.5K3 1

问与答93：如何将工作簿中引用的文件全部复制并汇总到指定文件夹中？

因为很多数据是临时来的，时间一长，我已经搞不清到底引用了哪些工作簿，有没有办法自动把相关工作簿打包在一起？ A：这只能使用VBA来解决了。...例如下图1所示，在工作簿的工作表Sheet1中有几个单元格分别引用了不同位置工作簿中的数据，我们要把引用的这几个工作簿复制到该工作簿所在的文件夹中。 ?...String Dim iPos2 As Integer Dim strPath As String Dim strFile As String '设置工作表且将该工作表中的公式单元格赋给变量...strFile = Mid(rng.Formula, iPos1 +2, iPos2 - iPos1 - 2) End If '如果找到且不在当前工作簿文件夹...'则将文件复制到当前文件夹 If strPath "" AndstrFile "" And strPath ThisWorkbook.Path &"\

2.5K3 0

流程管理工具snakemake学习笔记杂记02

内容是fastp对原始数据进行过滤 snakemake文件的内容 input_folder = "/mnt/shared/scratch/myan/private/practice_data/RNAseq...snakemake学习笔记007~slurm的cluster提交任务 image.png 我的文件存储层级如上，按照之前的通配符的写法，他会组合出PRJNA001/SRR0002_1.fastq.gz...前面组合文件夹和文件的命令还是有点多的，不知道有没有简单的的方法看到有的解决办法里还用到了lambda函数，还得仔细看一下lambda的用法这里换成我真实的数据集后会遇到内存不够的情况，需要再snakemake...，如何将这些文件输出到指定文件夹呢？....py 这个命令写到.sh文件中吗？

1.2K1 0

从git仓库中删除不同分支的.idea文件夹原

删除git的.idea文件 git rm --cached -r .idea # 如果没有git忽略文件的话，操作： ①配置.gitignore文件(新建/编辑） echo '.idea' >> .gitignore...②将.gitignore文件上传到远程仓库 git pull git add .gitignore git commit -m 'edit .gitignore' git push origin master

4.8K3 0

沉浸式体验WGBS(上游)

（需要当前此文件夹中的 FastA 文件，扩展名为 .fa 或 .fasta，每个文件有单个或多个序列）。...Bismark 将在此目录中创建两个单独的文件夹，一个用于 C->T 转换的基因组，另一个用于 G->A 转换的基因组。...-o/--output_dir ：输出文件的全路径 --samtools_path：samtools所在文件夹的全路径 --prefix：指定输出文件的前缀 --q/--fastq：输入文件为FastQ...：输出文件夹路径 --multiple：指定输入文件都作为一个样本处理，连接在一起进行重复数据删除。...对SAM文件使用Unix“cat”，对BAM文件使用“samtools cat”。所有输入文件的格式必须相同。默认情况下，标头取自要连接的第一个文件。

3.2K1 0

「Workshop」第七期：Snakemake 介绍

组成，每一个rule执行一个任务，通过不同的rule串联完成流程，snakemake还支持断点重启。...rule 每个rule定义流程中的每一步，相当于一个脚本。...rule all 一个特殊的rule，只有输入文件，为最后的要输出的结果文件，如果一个snakemake中存在多个rule需要加上这个rule否则只会输出第一个rule的结果 params 指定运行程序的参数...temp 有时我们只需要最终结果文件，或者对某些中间文件并不关心，可以使用temp 删除指定的中间文件 rule test: input: "test.py" output...❞ 重新创建环境通过导出的文件，快速复现一个环境 ❝ conda env create -f environment.yaml ❞ 局部环境当不同工具依赖不同环境的时候，snakemake

2.2K3 0

如何使用Python选择性地删除文件夹中的文件？

问题1 问题描述：在一个文件夹中，有着普通文件以及文件夹，那么我们如何做到删除全部文件夹而不删除文件呢？如下图所示，我们想要删除test文件夹中的所有文件夹，而保留其他文件： ?...Version 1 看到这个问题的第一刻，我想到的是文件夹没有后缀名，其他文件有后缀名，而拥有后缀名则意味着文件名称里面会有.的存在，我们就可以利用这个差别，来区分两者，进而实现问题描述中的功能。...我们可以看到，test文件夹中的文件已经全部删除。 ? Version 2.0 但是，后来仔细一想，上面这种方法却存在一个非常大的问题，如果普通文件是没有后缀名，也就是文件名称中不存在....接着，我又发现了文件夹和普通文件的另外一个区别，也就是文件夹是可以使用os.chdir("file_name")这个命令的，而普通文件则显然不行，会出现异常。...问题2 问题描述：我们如何做到删除一个文件夹中的空白文件夹，而不删除其他文件呢？ ? 可以看出，问题2是问题1的进阶版本，只需要在问题1的代码基础上，增加一个判断文件夹是否空白的语句即可。

13.3K3 0

基于GATK4标准找变异方法的自动化工作流程oVarFlow的使用

oVarFflow的工作流程如下图所示：相比其他的流程软件，oVarFflow的优点有：可对任意物种进行变异筛选，只要能够下载到这个物种的基因组和注释文件；整个程序可在conda小环境中完整运行...snakemake -np 这3个文件夹分别下载存储fastq测序文件，参考基因组文件和GVCF文件 ## 软件只对GFF文件进行过测试，保证可以运行，因此注释文件下载GFF3版本 nohup wget...+b，然后按d 重新进入tmux后台终端的操作是：tmux a -t Ovar tmux退出后台终端同时退出程序并删除session的操作是：同时按ctrl+b，然后按x，再按y确认查询所有已创建的后台终端操作是...结果查看运行结束后会显示以下信息同时在 variant_calling 文件夹下主要生成以下子文件夹及相关文件最终注释的变异位点文件存储在 12_annotated_variants 文件夹中...，其中生成了3个文件其中 snpEFF_summary.genes.txt 展示不同ensemble基因中筛查到的变异类型及数量，snpEFF_summary .html 网页文件对结果进行了统计，

1.1K1 0

Snakemake入门

简单来说，它有以下优点：可读性强易移植模块化管理透明能生成流程图，看到每个过程可扩展可拓展的平台 2如何使用在 Snakemake 中，可以使用类似于 Python 的语法来描述任务和规则...，输入输出和要运行的命令。...snakemake ds1_filtered_plot.pdf 按照入门演示的内容，它首先会从Snakefile中定义的规则中自上而下的进行匹配，这个时候将{dataset}匹配为ds1_filtered...而工作目录下并没有这个文件，它就会继续往下匹配新的规则。接下来，程序发现只要将{csvdata}匹配为ds1就可以实现rule plot中所需的输入文件ds1_filtered.csv。...如果我们修改了数据，程序会识别文件的修改时间判定其为一个新文件，进而重新运行命令。 3Snakemake 参数 Snakemake的参数非常多，常用的有以下几个： -p：打印运行的shell命令。

3253 0

点击加载更多

扫码

添加站长进交流群

领取专属 10元无门槛券

手把手带您无忧上云