将字符串作为代码传递，以便使用data.table汇总多个列 - 腾讯云开发者社区

这是本书最重要的一章，将涉及以下内容：使用tidyr整理数据使用dplyr处理数据使用数据库使用data.table处理数据软件配置 library("tibble") library("tidyr...通常的数据清理是将非标准文本字符串转换成lubridate简介所描述的数据格式。vignette("lubridate") ? 整洁是个广泛的概念，也包括重构数据，以便有利于数据分析和建模。...用法是：gather(data,key,value，-religion),分别是数据框，要转换成分类的列名,单元值的列名和清除收集的变量使用seperate()分割联合变量分割是指将一个实际由两个变量组成的变量分割成两个独立列...unlist()函数的作用，就是将list结构的数据，变成非list的数据，即将list数据变成字符串向量或者数字向量的形式。...非标准计算代码中没有引号包裹的原始名字，这种方式叫做非标准计算（NSE），高效交互使用函数，减少键盘输入，允许Rstudio中自动完成。还是函数名多个_。

1.9K2 0

R语言基因组数据分析可能会用到的data.table函数整理

包括两个方面，一方面是写的快，代码简洁，只要一行命令就可以完成诸多任务，另一方面是处理快，内部处理的步骤进行了程序上的优化，使用多线程，甚至很多函数是使用C写的，大大加快数据运行速度。...，会传递给setkey showProgress TRUE会显示脚本进程，R层次的C代码 data.table TRUE返回data.table，FALSE返回data.frame 可见...显示没有联合成功的行列 value.var 填充值的列，默认会猜测现在我需要取数据DT的v1,v2两列相同的情况作为汇总的一类，对它们的v4值取平均，转换如下，...by ]语法做但是如果我要将上述DT中的v3作为一个影响因素，作为tag，先按v1、v2汇总，再将对应的v4值分为v3=1和v3=2两类，查看v1、v2取值相同v3不同对应v4的情况，这个时候用dcast...； verbose 如果TRUE，在工作台产生交互信息，默认options(datatable.verbose=TRUE) 对于前面的DT，我现在将f和d开头的列名的列作为测量变量，如下 pattern

3.4K1 0

您找到你想要的搜索结果了吗？

是的

没有找到

R语言︱数据集分组、筛选(plit – apply – combine模式、dplyr、data.table)

二、数据分组以及分组汇总 1、cut函数 b将数据平均分成5组，rank=5代表大，rank=1代表小 2、aggregate函数——分组汇总 ?...2.aggregate函数不能对分组后的数据进行多种汇总计算，因此要用两句代码分别实现sum和max算法，最后再用cbind拼合。显然，上述代码在性能和易用性上存在不足。...1，第一行第一列 a[row(a)==1&col(a)==2] #将返回6，第一行第二列 2、一个网络例子： ?...在使用data.table时候，需要预先布置一下环境： datadata.table(data) 如果不布置环境，很多内容用不了。...data.table比较简洁一步搞定，dplyr花了两步，不过也dplyr也可以通过%>%来实现一步搞定。%>%的功能是用于实现将一个函数的输出传递给下一个函数的第一个参数。

20.9K3 2

R语言数据分析利器data.table包 —— 数据框结构处理精讲

包括两个方面，一方面是写的快，代码简洁，只要一行命令就可以完成诸多任务，另一方面是处理快，内部处理的步骤进行了程序上的优化，使用多线程，甚至很多函数是使用C写的，大大加快数据运行速度。...，会传递给setkey showProgress,TRUE会显示脚本进程，R层次的C代码 data.table,TRUE返回data.table，FALSE返回data.frame 实例如下，1.8GB...那么就会默认使用FALSE; qmethod,怎样处理双引号，"escape",类似于C风格，用反斜杠逃避双引，“double",默认，双引号成对； logicalAsInt,逻辑值作为数字写出还是作为...用haskey(DT)判断DT是否已经设置了key，可以设置多个列作为key DT[y>2] # DT$y>2的行 DT[!...，即x相当于DT$"x",当是FALSE时，列名仅仅作为字符串，可以用传统data.frame方法并且返回data.table，x[, cols, with=FALSE] 和x[, .SD, .SDcols

5.9K2 0

MR应知应会：MungeSumstats包

该软件包还使用户能够灵活地将重新格式化的文件导出为制表符分隔的 VCF 或 R 本机对象，例如 data.table、GRanges 或 VRanges 对象。...这只能作为最后的手段。 force_new_z 当“Z”列已经存在时，默认使用它。要从 P 设置为 TRUE 覆盖并计算新的 Z 分数列。 compute_n 是否插补 N。...请注意，为每个 SNP 估算样本量并不正确，只能作为最后的手段。 N 还可以通过为该字段传递其中之一或多个向量来输入“ldsc”、“sum”、“giant”或“metal”。...Sum 和整数值在输出中创建 N 列，而 Giant、metal 或 ldsc 创建 Neff 或有效样本大小。如果传递多个，则会指示用于推导它的公式。...而tabix_index是一个输入，用于确定是否用tabix对格式化的汇总统计数据建立索引，以便快速查询。

2.5K1 1

「R」数据操作（八）：dplyr 的 do, do, do

与data.table类似，dplyr也提供了do()函数来对每组数据进行任意操作。例如将diamonds按cut分组，每组都按log(price) ~ carat拟合一个线性模型。...和data.table不同的是，我们需要为操作指定一个名称，以便将结果存储在列中。而且do()表达式不能直接在分组数据的语义下计算，我们需要使用.来表示数据。...该列不是典型的原子向量，每个元素都是模型的结果，包含线性回归对象的列表。...假如我们需要分析toy_tests数据，要对每种产品的质量和耐久性进行汇总。如果只需要样本数最多的3个测试记录，并且每个产品的质量和耐久性是经样本数加权的平均数，下面是做法。... #> 1 T01 9.32 9.38 #> 2 T02 9.04 8.34 为了查看中间结果，可以运行do()之前的代码

1.7K3 1

「R」数据操作（三）：高效的data.table

使用.()作为list()的缩写，这两者等价： product_info[, ....对数据进行分组汇总 by是data.table中另一个重要参数（即方括号内的第3个参数），它可以将数据按照by值进行分组，并对分组计算第2个参数。...我们可以将多个[]按顺序连接起来，形成工作流（类似管道%>%）。...，我们使用data.table来完成这个任务，使用setDT()将数据框转换为data.table，该函数可以原地转换，不需要复制，并可以设定键。...此外,j表达式还可以用于构建模型的代码，下面是一个批量拟合线性模型的例子。这里使用diamonds数据集。

6.4K2 0

5个例子比较Python Pandas 和R data.table

我们将介绍的示例是常见的数据分析和操作操作。因此，您可能会经常使用它们。我们将使用Kaggle上提供的墨尔本住房数据集作为示例。...我将使用谷歌Colab(Pandas )和RStudio(data.table)作为开环境。让我们首先导入库并读取数据集。...我们使用计数函数来获得每组房屋的数量。”。N”可作为data.table中的count函数。默认情况下，这两个库都按升序对结果排序。排序规则在pandas中的ascending参数控制。...data.table中使用减号获得降序结果。示例5 在最后一个示例中，我们将看到如何更改列名。例如，我们可以更改类型和距离列的名称。...inplace参数用于将结果保存在原始数据帧中。对于data.table，我们使用setnames函数。它使用三个参数，分别是表名，要更改的列名和新列名。

3.1K3 0

R语言学习笔记之——数据处理神器data.table

最典型的几个技能组合迁移如下：基础字符串处理函数——stringr 绘图系统：plot——ggplot2 代码风格：函数嵌套——管道函数（`%>%`）列表处理：list（自建循环）——rlist json...rm(list=ls()) gc() 2、索引切片聚合 data.table中提供了将行索引、列切片、分组功能于一体的数据处理模型。...data.table列索引列索引与数据框相比操作体验差异比较大，data.table的列索引摒弃了data.frame时代的向量化参数，而使用list参数进行列索引。...(carrier,tailnum)] #但心里要清楚列索引接受的条件是含有列表的列表，而且这里的列表作为变量给出，而非data.frame时代的字符串向量。行列同时索引毫无压力。...注意以上新建列时，如果只有一列，列名比较自由，写成字符串或者变量都可以，但是新建多列，必须严格按照左侧列名为字符串向量，右侧为列表的模式，当然你也可以使用第二种写法。

3.6K8 0

新书《R语言编程—基于tidyverse》信息汇总

这些基本语法是您写 R 代码的基本元素，学透它们非常重要，只有学透它们才能将其任意组合、恰当使用，以写出各种各样的解决具体问题的 R 代码。...、SQL数据库连接），数据重塑（“脏”数据变“整洁”数据，长宽表转换、拆分与合并列），数据操作（选择列、筛选行、对行排序、修改列、分组汇总）、其它数据操作（按行汇总、窗口函数、滑窗迭代、整洁计算）...，以及data.table基本使用（常用数据操作的dplyr语法与data.table语法对照）。...建模技术包括三个内容： (1) 用broom包提取统计模型结果为整洁数据框，方便后续访问和使用； (2) modelr包中一些有用的辅助建模函数； (3) 批量建模技术，比如要对全世界 170 多个国家的数据分别建立模型...第六章，文档沟通将讨论如何进行可重复研究，用R markdown家族生成各种文档，介绍 R markdown的基本使用，R 与 Latex 交互编写期刊论文/幻灯片/书籍、R 与Git/Github交互进行版本控制

2.4K2 1

R数据框如何取交集

一般对于多个数据库或者多个软件预测的结果，可以通过取交集来提高预测结果的可信度，并且这样也能大大减少最后预测结果的数目。...你可以在查询miRNA靶基因的时候限定使用哪些预测软件（如下图红圈所示），这样得到的结果就是多个预测软件预测结果的交集。...那么我们怎么利用R代码来对miRNA预测结果取交集呢？我们知道一般在R里，对向量取交集，直接用intersect函数就可以了。...下面给大家介绍三种对R数据框取交集的方法方法一、我们将各列的信息合并成一个字符串，然后取交集 #将各列的信息用_连接起来 combine1=apply(df1,1,function(x) paste...包里的fintersect函数 #加载data.table包 library(data.table) #将数据框转换成data.table格式，然后利用fintersect函数取交集 result3=fintersect

1.7K2 0

「Workshop」第二期：程序控制与数据操作流

涉及编程的数据和代码都会放到 https://github.com/XSLiuLab/Workshop 推荐图书《R for Data Science》[1] 《R 语言编程指南》《R 实战》其他推荐见...num_range starts_with ends_with one_of matches 行筛选 slice, filter, sample_n, sample_frac, top_n, distinct 列筛选...分组汇总 group_by, ungroup 汇总函数合并 bind_rows bind_cols semi_join anti_join left_join, right_join, inner_join...fwrite data.table 语法 dt[i, j, by] 数据过滤与合并等操作与 R 基础语法一致，也可以使用 tidyverse 处理整数索引逻辑索引命名索引进一步的学习参考小抄、...正则表达式与字符串处理：base 与 stringr 列表处理与迭代计算：purrr 统计建模：stats 与 broom 绘图：graphics 与 ggplot2 函数编程：apply家族和purrr

1.6K3 0

R海拾遗--data.table初级学习

data.table初级学习概述 data.table对于大数据的数据整理较为便捷，很多的时候比data.frame效率更高，一般情况下结合管道符号进行计算管道符 %in% 表示包含 %>% 表示向右传递...%$% 表示向右传递并直接按列操作安装 install.packages("data.table") install.packages("magrittr") library(magrittr) library...(data.table) 使用方法简单操作 iris% as.data.table() class(iris) # 行数 nrow(iris) # 列数 ncol(iris)...(Species)] #返回一个data.table iris[, c("Species"), with=FALSE] #返回一组数据框 # 保留多列 iris[, ....(Sepal.Length, Sepal.Width, Species)] # 对变量进行重命名 setnames(iris, c("Species"), c("new_Species")) # 对多个变量进行重命名

7663 0

【技巧】如何快速按照日期分组

问题的提出在处理数据的时候，我们常常需要按照日期对数据进行分类汇总，例如每周、每月、每年汇总等。常见的做法是建立一个用于分类的变量，然后再按照这个变量进行汇总。...本期大猫将教大家使用 data.table包的 keyby语句完成上述任务。...使用 data.table的好处是：不需要事先创建分类变量，啥时想分类了，直接分就可以（group on the fly）速度特别、特别快！代码非常、非常简洁！（也就十几个字符！）...注：文章中所有代码块都可以水平滚动！不信滑滑看？...按照“是否为周三”进行分类如果我们想把样本分成两组，一组是周三（True），一组是非周三（False），则只要使用 wday(date)==3来生成一列值为 True或者 False的向量就行。

2.5K3 0

R语言进阶笔记2 | 长数据与ggplot2

之前介绍了如何将多个性状的箱线图放在一个图上，比如learnasreml包中的fm数据，它有h1~h5五年的株高数据，想对它进行作图。...ID002 2019 14 ID002 2020 19 ID003 2018 14 ID003 2019 15 ID003 2020 16 「tidyverse」系列包，喜欢长数据，无论是清洗数据，还是汇总统计...：我用了管道符%/%，将数据传递给pivot_longer 第二个-1，意思是除了第一个不处理，其它都处理，也可以用2:6表示第二到第六列处理第三个names_to是变量的名称，这里定义为Year...第四个values_to是保存的性状名，这里是Height 可以看到，长数据有3列，分别是： TreeID Year Height 3. ggplot2作图怎么搞之前我使用ggplot2作图时，想做什么图...，就在网上copy代码，然后根据自己的数据名称，修改代码，然后运行代码。

9642 0

R︱高效数据操作——data.table包（实战心得、dplyr对比、key灵活用法、数据合并）

data.table包的语法简洁，并且只需一行代码就可以完成很多事情。进一步地，data.table在某些情况下执行效率更高。...data.table中，还有一个比较特立独行的函数：使用:=引用来添加或更新一列（参考：R语言data.table速查手册） DT[, c("V1","V2") := list(round(exp(V1...%>%的功能是用于实现将一个函数的输出传递给下一个函数的第一个参数。注意这里的，传递给下一个函数的第一个参数，然后就不用写第一个参数了。在dplyr分组求和的过程中，还是挺有用的。...SD只能在位置j中使用。 .SDcols常于.SD用在一起，他可以指定.SD中所包含的列，也就是对.SD取子集。...2016-11-28补充：留言区大神给了一个比较好的选中列的方式，其中主要就是对with的使用： data.table取列时，可以用data[,1,with=FALSE]取data的第一列

9.3K4 3

R练习50题 - 第一期

我们的所有答案都将使用data.table这个包。我们认为data.table是最优秀的数据处理工具，没有之一。...我们首先使用以下代码导入数据集： # We only need two packages here library(data.table) library(stringr) # set `data_path...值得说明的有一下几点：数据集为“面板数据”：包含多个股票（横截面），而每个股票则有多个按照日期排序的变量（时间序列）股票代码symbol 和日期date共同组成了数据集的key，也即每个唯一的symbol...为了去重，我们需要借助于data.table中的unique函数。我们希望最终的输出是一个字符串向量： ?...这是因为data.table的第一个语句用来对列进行选择，由于我们这里需要对所有列进行统计，所以不需要进行任何操作。 keyby用来进行分组，是整个代码的核心。先来看keyby = .

2.5K4 0

人工智能大模型的好处之任意数据结构的转换

这里有两种方法来做到这一点，并且将原始的列表元素名称作为新数据框的一个列。...(data.table) 然后，使用rbindlist函数将列表转换为数据框： # 假设 mylist 是你的列表 mylist <- list( vec1 = c(1, 2, 3), vec2...如果列表中的向量长度不相等，直接使用 rbindlist 或者 Reduce 结合 cbind 会遇到困难，因为这些函数通常要求所有向量具有相同的长度以便能够形成一个规则的数据框。...，然后添加一个表示原始向量名称的列，最后使用 bind_rows 合并它们。...手动处理则允许你完全控制转换过程，但可能需要更多的代码。

891 0

好强一个Julia！CSV数据读取，性能最高多出R、Python 22倍

字符串数据集 I 此数据集在且具有1000k行和20列，并且所有列中不存在缺失值。 ? Pandas需要546毫秒来加载文件。使用R，添加线程似乎不会导致任何性能提升。...单线程CSV.jl比data.table快2.5倍，而在10个线程中，CSV.jl则大约比data.table快14倍。字符串数据集 II 该数据集的大小与字符串数据集 I 中相同。...因此，Julia代码的后续性能将有着更多的可能。...有些网友对于Julia给予了极大的期待：在过去的十年中，大多数生态系统在Python上都具有巨大的价值，尤其是将MATLAB抛在脑后。...Julia对Python进行了足够的改进，可以保证在接下来的5-10年内进行转换，并以相同的方式将Python抛在后面。 ?

2K6 3

R语言︱情感分析—基于监督算法R语言实现（二）

利用IDF作为惩罚权重，就可以计算词的TFIDF。这几个指标就会监督型算法的核心指标，用来作为以后分类的输入项。我们有了三个指标：tf、df、tfidf，选哪个用于构建模型？...quote = ""`设置为空，这样做虽然避免了警告，但是仍然解决不了问题，有时数据会对不上号，所以最好从符号上着手将一些特殊符号去除，还有一些文本的正则表达式的问题，可见博客： R语言︱文本（字符串）...这里使用`aggregate`统计每篇文章每个词的频次，2行添加了一个辅助列logic，当然不添加辅助列，设置`aggregate`里的FUN参数为`length`函数也能完成，但是数据量大时耗费时间太长...也就是一定意义上的稀疏矩阵（同关联规则），也就是将long型数据框转化为wide型数据框。转换可以用的包有reshape2以及data.table。...，如果你的电脑报告内存不足的错误，可以使用data.table包里的`dcast`函数试试。

1.8K2 0

点击加载更多

扫码

添加站长进交流群

领取专属 10元无门槛券

手把手带您无忧上云

《高效R语言编程》6--高效数据木匠

R语言基因组数据分析可能会用到的data.table函数整理

R语言︱数据集分组、筛选(plit – apply – combine模式、dplyr、data.table)

R语言数据分析利器data.table包 —— 数据框结构处理精讲

MR应知应会：MungeSumstats包

「R」数据操作（八）：dplyr 的 do, do, do

「R」数据操作（三）：高效的data.table

5个例子比较Python Pandas 和R data.table

R语言学习笔记之——数据处理神器data.table

新书《R语言编程—基于tidyverse》信息汇总

R数据框如何取交集

「Workshop」第二期：程序控制与数据操作流

R海拾遗--data.table初级学习

【技巧】如何快速按照日期分组

R语言进阶笔记2 | 长数据与ggplot2

R︱高效数据操作——data.table包（实战心得、dplyr对比、key灵活用法、数据合并）

R练习50题 - 第一期

人工智能大模型的好处之任意数据结构的转换

好强一个Julia！CSV数据读取，性能最高多出R、Python 22倍

R语言︱情感分析—基于监督算法R语言实现（二）

扫码

相关资讯

热门标签

活动推荐

运营活动

社区

活动

资源

关于

腾讯云开发者

热门产品

热门推荐

更多推荐