使用dplyr和purrr从嵌套的心理列表中提取元素时遇到问题_从网站中提取属性，然后使用pandas和Python语言中的bs4移除列表中的重复元素，并将其写入.xls文件 - 腾讯云开发者社区 - 腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

「R」用purrr实现迭代

接下来我们将学习和使用purrr包，它提供的函数可以替代很多常见的for循环应用。R基础包中的apply应用函数族也可以完成类似的任务，但purrr包的函数更一致，也更容易学习。...使用purrr函数替代for循环的目的是将常见的列表问题分解为独立的几部分：对于列表的单个元素，我们能找到解决办法吗？如果可以，我们就能使用purrr将该方法扩展到列表的所有元素。...（即mean()、median()和sd()），而不是在所有元素中循环所需的跟踪记录以及保存结果。...当检查多个模型时，有时候我们需要提取像R方这样的摘要统计量，要想完成这个任务，我们需要先运行summary()函数，然后提取结果中的r.squared： models %>% map(summary...当使用映射函数重复多次操作时，某次操作失败的概率大大增加。

4.7K2 0

R：purrr包用于循环迭代

purrr中有多个迭代函数，可以用于快速解决循环迭代的问题，purrr中常用的迭代函数有map、map2、walk、reduce等等。...map map(.x, .f, ...) map函数接受一个向量、列表，对其每一个元素执行函数。数据框其实是一种格式化表示的列表，所以也可以使用map迭代。 map函数默认返回列表。...=T)) # 字符：用于快速提取内容 # 例如如下两种方式是等价的 iris %>% dplyr::select(-Species) %>% map(summary) %>%map_dbl(~....如果此时使用map系列函数，那么就会返回一个值为NULL的列表。...”的操作，如累加、累乘： reduce(1:100, `+`) #[1] 5050 reduce(1:5, `*`) #[1] 120 有些时候，reduce是很方便的，比如可以使用它计算数据框的最大值和最小值

1.5K1 0

您找到你想要的搜索结果了吗？

是的

没有找到

一步解决R中中文字符问题

❝今天会员交流群内有朋友询问图片预览遇到问题该如何解决，本节就来详细介绍一下R中图形预览及导出会遇到的问题，个人观点仅供参考。...❝Cairo是R中的一个包，用于创建向量图形（如PDF、SVG）和位图图形（如PNG、BMP、GIF、JPEG）。它基于Cairo图形库，该库是一个跨平台的图形API，支持多种输出设备。...❞ 安装cairo包 install.packages("Cairo") 修改Graphics设置 ❝要访问和修改这些设置，可以在RStudio中按照以下步骤操作： 1.打开RStudio 2.在菜单栏中...（全局选项...） 3.在弹出的Options窗口中，从左侧菜单选择General 在General设置中，找到Graphics这里列出了上述的一些设置项，选择Cairo点击Apply->OK ❞ 完成上述设置后...以上操作为Macos系统 windows系统则需要在代码中使用showtext包进行字体渲染，若不进行渲染则导出pdf时字体会乱码 install.packages("showtext") library

2201 0

R||R语言基础（三）_R包

今天继续学习R语言基础的R包使用，以R包：dplyr为例数据准备 01 R包的安装 install.packages(“dplyr”) 或BiocManager::install(“dplyr”)...:102),] 这里的“,”怎么理解呢，在我们上一期推文中提到，提取元素时z[x,y]指代提取z中第x行，第y列，如果我们只需要提取行，则应该写作z[x,],同理，如果只需要提取列，应该写作z[,y]...() 按列筛选 1)按列号筛选 select(test,1) select(test,c(1,5)) #提取第一列和第五列由上图可以看出直接提取也是可以的 2)按列名筛选 select(test...),mean(Sepal.Length), sd(Sepal.Length)) dplyr的两个实用技能 1.count统计某列各元素出现的次数 count(test,Species) 2.管道操作...其核心包有ggplot、readr、tibble、purrr、 tidyr 、dplyr、ggplot、forcats 和stringr8个. 我们这里用的是dplyr包，因此可以使用管道。

3.3K5 0

「R」dplyr 行式计算

，因此如果你想要将其从数据框中移除，调用 ungroup() 即可。...当您有列表列时，rowwise()操作是一种自然的配对。...它们允许你避免显式的循环和/或使用 apply() 或 purrr::map 家族函数。...就能算出 x中元素的长度不是很好吗？...作为替代方案，我们建议使用 purrr 的 map() 函数执行逐行操作。但是，这很有挑战性，因为您需要根据变化的参数数量和结果类型来选择映射函数，这需要相当多的 purrr 函数知识。

6.2K2 0

irGSEA：基于秩次的单细胞基因集富集分析整合框架

假如将新的单细胞数据集整合到现有数据中，使用这些FCS方法需要重新计算每个细胞的基因集富集分数。这个步骤可能是繁琐且资源密集的。...这个过程中需要考虑所有样本，容易受到样本背景信息的影响； PLAGE 对跨细胞的基因表达矩阵进行标准化，并提取奇异值分解作为基因集富集分数； Zscore 聚合了基因集中所有基因的表达，通过细胞间的平均值和标准差缩放表达...； AddModuleScore需要先计算基因集中所有基因的平均值，再根据平均值把表达矩阵切割成若干份，然后从切割后的每一份中随机抽取对照基因（基因集外的基因）作为背景值。...因此，在整合不同样本的情况下，即使使用相同基因集为相同细胞打分，也会产生不同的富集评分； SCSE 使用基因集所有基因的归一化的总和来量化基因集富集分数； Vision 使用随机签名的预期均值和方差对基因集富集分数进行...使用全局表达谱对差异分数进行标准化。标准化这一步容易受样本构成的影响。 JASMINE 根据在单个细胞中表达基因中的基因排名和表达基因中基因集的富集度计算近似平均值。

1.4K1 1

R 数据整理（十一：用purrr包实现更花样的匿名函数使用）

将无名函数写成“~ 表达式”格式，表达式就是无名函数定义，用.表示只有一个自变量时的自变量名，用.x和.y表示只有两个自变量时的自变量名，用..1、..2、..3这样的名字表示有多个自变量时的自变量名...需要注意的是，如果map()等泛函中的无名函数需要访问其它变量的话，需要理解其变量作用域或访问环境。另外，无名函数中的其它变量在每次被map()应用到输入列表的元素时都会重新计算求值。...提取列表元素的简写 map 除了调用无名函数时可以简写，在提取列表元素时也有简写的方法。较为复杂的数据，有时表现为列表的列表，每个列表元素都是列表或者向量。...JSON、YAML等格式转换为R对象就经常具有这种嵌套结构。一般这种类型的数据，导入的R 后就表现为嵌套列表的格式，也就是列表中的每个元素也都是列表。...虽然结果和sum 一致，但是reduce 可以对元素为复杂类型的列表进行逐项合并计算。

2.4K3 0

Hadley Wickham 采访节选（二）

purrr的设计目的并不是说要实现base R中无法实现的功能，只是base R中的这些底层函数使用起来太不方便而且容易出错，而purrr则用一种统一、安全的方式去重新打包了这些函数。...但是话说回来，在我最近写的包里面，我都尽量不使用purrr。（purrr包的logo） ? “ 等等，你为什么不愿意在你最近写的这个包里面用purrr呢？...最近我不是在开发Bigrquiry这个包嘛（大猫：一个使用R从Google BigQuiry提取数据的API），我发现如果我用了purrr，那么我就很难避免不用dplyr，因为purrr严重依赖dplyr...，而dplyr又依赖其他的东西。...在下一个版本的dplyr中，我将引入“quasi-quotation”这个概念，它让用dplyr写函数比以往要方便许多。

6772 0

「r」dplyr 里的 join 与 base 里的 merge 存在差异

今天在使用连接操作时发现：虽然都是合并操作函数，dplyr 包里的 *_join() 和基础包里面的 merge() 存在差异，不同的数据结构，结果也会存在偏差。...，这两个列表是没有任何差异的。...相同的数据，不同的操作函数存在差异在进行连接操作时，我们会发现 dplyr 的结果会报错！...所以使用 dplyr 提供的连接函数报错是正常的，但有意思的是，基础包提供的 merge() 函数可以完成连接操作，真是优秀（感兴趣的朋友可以看下测试下 merge 函数源代码）！...如果 be_join 不为空，进行如下的循环：如果存在，则将这个子集和 to_join 按共同列合并如果不存在，使用循环位移一位，将当前 be_join 的第 2 个子集移动为第 1 个。

1.5K3 0

「R」tidyverse 中的公式函数

这里值得注意的是，当匿名函数只有一个参数时，我们用 .x 表示函数的输入参数。如果进行拓展，2 个参数时使用 .x 与 .y，3 个参数时使用 ..1, ..2, ..3 等。...基本用法假设我们要对 df 中的 x 和 y 列进行归一化处理，在不使用 scale() 函数的情况下，我们可能会手写一个函数： scale2 <- function(x) { (x - mean..., df3) #> [1] TRUE 当只有一个参数时，我们还可以使用 ....$x 和 df$y，这里使用了 dplyr 包的 mutate() 语境，所以可以直接写列名。...在公式中，我们可以直接使用前面已经定义的变量，这里是 cfs。

3.9K2 0

这些逻辑运算符你都使用正确了吗？

> TRUE & FALSE #返回[1] FALSE > 0.2 & 0 #返回[1] FALSE （3）在R语言中标量常被看作含有一个元素的向量，但在逻辑运算中是存在差异。...上表中逻辑“与”【&】和逻辑“或”【 | 】是对向量的逻辑运算（虽然单个标量也适用），但其返回的结果是逻辑向量，是对逻辑运算中的每一组元素进行逻辑运算后返回的结果。...因此，此处引入另外两个不常用但需要了解的逻辑运算符： x&&y：标量的逻辑“与”运算，判断逻辑x和y中只要包含一个"&"运算的TRUE行即返回TRUE标量 x||y ：标量的逻辑“或”运算，判断逻辑向量...FALSE和y[2] TRUE [1] TRUE > x[4]||y[4] #x[4] FALSE和y[4] FALSE [1] FALSE 2 异或（xor）说明：当对应元素不等时返回TRUE。...all(x==0)) #对x数据库做列操作，判断每一列中的所有元素是否为0，，然后渠非"!"

9942 0

R包基础实操—tidyverse包

核心软件包是ggplot2、dplyr、tidyr、readr、purrr、tibble、stringr和forcats，它们提供了建模、转换和可视化数据的功能。...其中，readr包用于读取数据，tidyr包用于整理数据，dplyr包用于数据转换，ggplot2包用于数据可视化，purrr包用于函数式编程。...1 readr包：快速读写 1-1 readr包提供了几个新函数，能够更快的读取文件 readr包中的主要的函数有： read_csv，read_tsv，read_table，read_delim， write_csv...(.x, .f): 返回整数型向量 map_dfr(.x, .f): 返回数据框列表，再 bind_rows 按行合并为一个数据框 map_dfc(.x, .f): 返回数据框列表，再 bind_cols.../p/f8b9e6bd52a2 [7] dplyr新功能解读: https://zhuanlan.zhihu.com/p/145839517 [8] 优雅的循环迭代：purrr包: https://zhuanlan.zhihu.com

3.2K3 0

R 语言逻辑运算：TRUEFALSE | 专题3

> TRUE & FALSE #返回[1] FALSE > 0.2 & 0 #返回[1] FALSE （3）在R语言中标量常被看作含有一个元素的向量，但在逻辑运算中是存在差异。...上表中逻辑“与”【&】和逻辑“或”【 | 】是对向量的逻辑运算（虽然单个标量也适用），但其返回的结果是逻辑向量，是对逻辑运算中的每一组元素进行逻辑运算后返回的结果。...因此，此处引入另外两个不常用但需要了解的逻辑运算符： x&&y：标量的逻辑“与”运算，判断逻辑x和y中只要包含一个"&"运算的TRUE行即返回TRUE标量 x||y ：标量的逻辑“或”运算，判断逻辑向量...FALSE和y[2] TRUE [1] TRUE > x[4]||y[4] #x[4] FALSE和y[4] FALSE [1] FALSE 2 异或（xor）说明：当对应元素不等时返回TRUE。...all(x==0)) #对x数据库做列操作，判断每一列中的所有元素是否为0，，然后渠非"!"

5.4K1 0

数据流编程教程：R语言与DataFrame

在实际使用中，data.talbe::fread()的读取速度可以比原生的read.csv有3-10倍的提升速度。...数据处理 dplyr/rlist/purrr 1. dplyr dplyr包是现在数据流编程的核心,同时支持主流的管道操作 %>%，主要的数据处理方法包括：（1）高级查询操作： select...如果使用purrr包就可以很好的解决这一问题。...参考 Wisdom's Quintessence: Purrr package for R is good for performance 的例子：具体使用可以参考Rstudio Blog:purrr...ggvis最明显的区别就是在作图时直接支持%>%的管道操作，比如： ggplot2与ggvis的关系类似于plyr与dplyr的关系,都是一种演化过程。六.

3.8K12 0

从一件数据清洗的小事说起

” 本期“大猫的R语言公众号”由“村长”供稿。村长，数据科学、指弹吉他及录音工程爱好者，浙大金融学博士在读，在data.table包和MongoDB的使用上有较多经验。...这是一个类json格式嵌套的数据，其中存在两个变量，第一个变量是cusnum作为序号，第二个是一个类json的嵌套变量，里面以类jsno格式嵌套了很多变量。需要将这个数据集转换成如下格式： ?...其实这一期这么扯淡的讲这么多事情，只是为了说明一点，data.table真的有很好的性能，尤其在处理海量数据方面（在分组特别多的时候，相比dplyr和pandas有2x~10x的提升，来自官方文档）。...dplyr的哲学和Linux类似：每个组件就做好一件事，当把所有组件拼在一起之后就是一个全功能的包了。这个理论利弊共存。...从好处来说，因为每个组件只做一件事（比如group、mutate），所以在开发的时候耦合度低，容易开发维护，而且对于使用者来说也“更容易学习”。然而，他的弊端也是非常明显的，首先是效率不高。

6701 0

2023.4生信马拉松day7-R语言综合应用

，列表的每个元素对应原来的每个元素拆分的结果 -（2）列表使用不方便——simplify = T简化结果，简化成矩阵 -（3）注意：之前提到过，矩阵的某一列不能单独转换数据类型，需要把矩阵转换成数据框再转换某列的数据类型...-（2）用多次嵌套避免中间变量不直观，且容易出错； ——设置彩虹括号，可以在多层嵌套时看清楚哪个括号和哪个括号是一对： options -- code -- display --use rainbow...require(tidyr)) install.packages('tidyr') #根据一个包是否library成功来决定要不要安装这个包练习7-1 图片 # 1.读取group.csv，从第二列中提取圈出来的信息...-（4）no：逻辑值为FALSE时的返回值 -（5）支持单个的逻辑值，也支持多个逻辑值组成的向量 -（6）相当于对向量的每个元素逐个进行判断，然后对判断结果F/T进行逐个替换； i = 1 ifelse...如何挑出30个数里最大的五个 -（1）排序 -（2）取最后五个图片 3.向量/列表的隐式循环-lapply() 对列表/向量中的每个元素实施相同的操作 lapply(1:4,rnorm) #批量画图

3.6K8 0

使用 R 语言从 PDF 文档中提取表格

由于一个知识星球的小伙伴急需学习如何从 PDF 文档中提取表格，所以先插这个课，「使用 R 语言处理 netCDF 数据」系列的课程下次再发新的哈。...本课程介绍了如何使用 R 语言从 WHO（世界卫生组织）的官网上下载新冠疫情的每日报告以及如何从这些报告中的表格里面提取数据。.../ 这个非常简单，我的思路是直接获取网页中的所有标签的 href 属性，然后过滤出链接中含 .pdf 的，最后再用一个循环下载所有的 PDF 文件即可。...从 PDF 里面提取表格数据我选择最新的一个 PDF 做演示：20200523-covid-19-sitrep-124.pdf，下面使用 tabulizer 包进行数据提取，不过这个包依赖于 rJava...# 使用 tabulizer 包 library(tabulizer) library(purrr) library(tidyr) library(tidyverse) f <- "pdf/20200523

3.5K1 0

DESeq2差异表达分析

注意：要从我们在单细胞分析工作流程结束时创建的Seurat对象中提取子集并提取细胞，我们可以使用类似于以下代码： # Bring in Seurat object seurat <- readRDS("...6小时后，将每个条件下的8个样本混合在两个最终池(刺激细胞和对照细胞)中。对照和刺激混合样本分别鉴定了12,138和12,167个细胞(去除二倍体后)。...我们可以使用SingleCellExperient包中的函数来提取不同的组件。首先我们可以查看一下实验数据的计数和元数据。...为此，我们将以匹配样本ID的因子级别的顺序，对单个细胞元数据中的样本进行重新排序，然后只从与该样本对应的第一个细胞中提取样本信息。...让我们对B细胞执行DE分析，它是我们向量中的第一个元素。从向量中提取B细胞： clusters[1] 我们可以使用此输出对B细胞运行DE分析。首先，我们可以仅将元数据和计数设置为B细胞。

5.4K3 3

ggplot2在系统发育树上添加饼图

# 设置叶子的数量 # 生成一个随机树 tr <- rtree(num_tips) p <- ggtree(tr) + xlim(0, 3) 构建饼图数据 # 使用dplyr创建数据框，包含四个变量...a, b, c, 和d dat <- tibble( a = runif(num_tips, 0, 0.33), b = runif(num_tips, 0, 0.33), c = runif...purrr的map函数创建饼图列表 # 对于每个叶子，都创建一个饼图 pies <- map(1:num_tips, ~{ filter(dat_long, id == .x) %>% ggplot...theme( # 设置主题，移除多余的元素 axis.title = element_blank(), axis.ticks = element_blank(),...element_blank(), legend.position = "non" ) + scale_fill_brewer(palette = "Set1") # 设置颜色 }) # 为饼图列表设置名称

3233 0

R07-R语言的综合应用

# 3.按位置提取字符串，提取5-9的字符str_detect(x2,"h") # 4.字符检测str_starts(x2,"T") # 4.字符检测，字符串是否以T开头str_ends(x2...() %>%head(50) %>% pheatmap::pheatmap()3.条件和循环一、条件语句if(一个逻辑值){ } 如果()中的条件T成立，{}中的函数被运行，如果F不成立，则不执行...循环for(i in x){CODE} # 对x里的每个元素i进行同一操作for( i in 1:4){print(i)} #对1:4中的每个元素进行循环输出批量画图par(mfrow = c..., 2, mean)apply(test, 1, sum)向量/列表的隐式循环---lapplylapply(list, FUN, …) #对列表/向量中的每个元素实施相同的操作lapply(1:4,rnorm...) #对1:4中的每个元素进行rnorm操作5.数据框的连接inner_join #取交集连接full_join #全连接left_join(test1,test2,by="name") #左连接

521 0

点击加载更多

扫码

添加站长进交流群

领取专属 10元无门槛券

手把手带您无忧上云

扫码加入开发者社群

相关资讯

热门标签

活动推荐

运营活动

活动名称

广告关闭