提高data.table性能为列分配新值 - 腾讯云开发者社区

浮点型数据集第一个数据集包含以1000k行和20列排列的浮点值。 ? Pandas需要232毫秒来加载此文件。首先在单线程下，data.table（fread）比CSV.jl快1.6倍。...字符串数据集 I 此数据集在且具有1000k行和20列，并且所有列中不存在缺失值。 ? Pandas需要546毫秒来加载文件。使用R，添加线程似乎不会导致任何性能提升。...苹果股价数据集该数据集包含50000k行和5列，大小为2.5GB。这些是AAPL股票的开盘价、最高价、最低价和收盘价。价格的四个列是浮点值，并且有一个列是日期。 ?...单线程CSV.jl比从data.table中读取的R速度快约1.5倍。而多线程，CSV.jl的速度提高了约22倍！ Pandas的read_csv需要34秒才能读取，这比R和Julia都要慢。...但是，随着线程的增加，CSV.jl的性能不断提高。CSV.jl的多线程处理速度提高了约4倍。总结纵览8个测试： ?

2K6 3

R语言数据分析利器data.table包 —— 数据框结构处理精讲

,list或者data.frame,而name时属性名，value时属性值，setnames(x,old,new)，设置x的列名，old是旧列名或者数字位置，new是新列名 setcolorder(x...,neworder) 重新安排列的顺序，neworder字符矢量或者行数 set(DT,rownum,colnum,value)直接修改某个位置的值，rownum行号，colnum，列号，行号列号推荐使用整型...na值的表示，默认""； dec，小数点的表示，默认"...前面三个选项都是用新的特定C代码写的，较快 buffMB,每个核心给的缓冲大小，在1到1024之间，默认80MB nThread,用的核心数。...(y=max(y)), lapply(.SD, min)), by=x, .SDcols=y:v] #对DT取y:v之间的列，按x分组，输出max(y),对y到v之间的列每列求最小值输出。

5.9K2 0

您找到你想要的搜索结果了吗？

是的

没有找到

能不能让R按行处理数据？

这些问题都是在平日的工作中有很高可能性出现并且看似容易实则让人抓狂的问题，在Stackoverflow上他们有着很高的人气。事实上，这些问题也就是你在“看懂一本R的教材”和“成为R大神”之间的距离。...这些问题大多数涉及到用data.table包处理数据。data.table是目前R中人气最高的数据处理包。 2....现在我想做的是对于每一行，找出非NA的值，填充到“mean.scale”这个新的变量；如果有多个非NA，那么就计算其平均值。也就是说，我希望最终得到如下数据集： ?...(fund_name)] 其中的关键在于拼接函数c()，它将不同列的向量拼接成了一列。另外，这个操作是不是有点熟悉？...首先，别忘了mean中的na.rm = T参数，它能够让函数忽略缺失值。

1.4K2 0

「R」数据操作（三）：高效的data.table

TRUE #> 4: M02 AircraftX TRUE #> 5: M03 Runner TRUE #> 6: M04 Dancer FALSE 还可以创建新列...M02 Plastics 85 3.0 #> 5: M03 Wood 15 NA #> 6: M04 Wood 16 0.6 使用:=直接在上面数据框创建新列...为演示，我们先创建新的data.table，命名为market_data，其中date列是连续的。...(year = year(date))] } 这里我们使用.SD[[x]]提取x列的值，这跟通过名字从列表中提取成分或元素相同。...，而是使用market_data[, (columns) := list(...)]来动态设定列，其中columns是一个包含列名的字符向量，list(...)是每个列对应的值： price_cols

6.4K2 0

Matt Dowle 演讲节选（二）

在这行代码中，B 的值来自于 DF 这个表，而不是 global environment。...Matt 是这样想的：在data.frame中，如果我们想要选择region这个变量为特定值的关泽，那么代码就会是下面这样： > DF[DF$region == "US", sum(population...这里的关键在于，在第一种方法中，每为新的一行赋值，data.table就要重新复制一遍DT，也就是说，第一种方法的运行过程中，DF被复制了1000遍！...顾名思义，fread函数大大提高了 R 读取文本文件的性能。...假设你有100列，难道你要每列的class都指定一遍？这时你就需要fread("test.csv")！不需要输入任何其他的参数，你猜要运行多久？ 3秒！

1.1K4 0

R语言︱数据集分组、筛选(plit – apply – combine模式、dplyr、data.table)

显然，上述代码在性能和易用性上存在不足。 3.aggregate函数对分组字段的顺序有一个奇怪的要求：必须反向排列。...总结：aggregate函数勉强可用，但在性能和方便性上存在不足，代码的写法、计算结果、业务逻辑这三者不一致。...可以看到，计算结果中的第一列实际上是“SELLERID.CLIENT”，我们需要把它拆分成两列并调换顺序才行。...总结：本算法在性能上有所提高，但在易用性上明显不足，在代码写法、业务逻辑、计算结果上仍然存在不一致。...##对于数据框 x是对象，subset是保留元素或者行列的逻辑表达式，对于缺失值用NA代替。 Select 是选取的范围，应小于x。

20.9K3 2

R练习50题 - 第一期

写在前面从这期开始，大猫课堂将会推出一个新的系列：R练习50题，目的是使用50道练习题让大家掌握常用的数据操作，例如寻找每组最大的N个观测等。...本练习题来源于Renkun (github.com/renkun-ken/r-data-practice) 在Github上的共享，我们认为它包括了绝大多数实践中会遇到的问题，特别具有代表性。...unique：找出symbol中不重复的值。在data.table的语法中，先进行列选择操作，再对列进行处理。所以上述语句会先执行str_detect，再执行unique。...这是因为data.table的第一个语句用来对列进行选择，由于我们这里需要对所有列进行统计，所以不需要进行任何操作。 keyby用来进行分组，是整个代码的核心。先来看keyby = ....其中，updown是我们新建的字符变量，用来表示分组，它只取两个值：UP, DOWN。这其中的难点是建立updown这个变量。我们使用了ifelse这个函数。

2.5K4 0

R语言学习笔记之——数据处理神器data.table

，甚至那些性能逆天的并行算运算包；刚开始会用基础字符串处理，看到stringr包就面临着技能工具更新的问题…… 太多的选择，让人眼花缭乱，我自己也遇到过这种困惑，为了避免注意力分散，我的做法是先做可能性罗列...rm(list=ls()) gc() 2、索引切片聚合 data.table中提供了将行索引、列切片、分组功能于一体的数据处理模型。...data.table列索引列索引与数据框相比操作体验差异比较大，data.table的列索引摒弃了data.frame时代的向量化参数，而使用list参数进行列索引。...当整列和聚合的单值同时输出时，可以支持自动补齐操作。当聚合函数与data.table中的分组参数一起使用时，data.table的真正威力才逐渐显露。 mydata[,....以上语法加入了新的参数.SDcols和.SD,咋一看摸不着头脑，其实是在按照carrier,origin,dest三个维度分组的基础上，对每个子块特定列进行均值运算。

3.6K8 0

5个例子比较Python Pandas 和R data.table

data.table) melb <- fread("datasets/melb_data.csv") 示例1 第一个示例是关于基于数据集中的现有列创建新列。...Price > 1000000 & Type == "h"] 对于pandas，我们提供dataframe的名称来选择用于过滤的列。...另一方面，data.table仅使用列名就足够了。示例3 在数据分析中使用的一个非常常见的函数是groupby函数。它允许基于一些数值度量比较分类变量中的不同值。...例如，我们可以更改类型和距离列的名称。类型:HouseType 距离:DistanceCBD 数据集中的distance列表示到中央商务区(CBD)的距离，因此最好在列名中提供该信息。...对于data.table，我们使用setnames函数。它使用三个参数，分别是表名，要更改的列名和新列名。总结我们比较了pandas和data.table在数据分析操作过程中常见的5个示例。

3.1K3 0

懒癌必备-dplyr和data.table让你的数据分析事半功倍

select(df,V1,V2,V3) 选择V1，V2，V3列数据 select(df,V1:V3) 选择V1到V3列的所有数据 t新列 mutate(df,vnew1=v1-v2,vnew2=vnew1+v3) 与基础包里的transform()函数接近，但mutate可以使用你刚刚创建的column...①第一个参数都是数据集df ②查询条件都是关于如何操作数据集的，在列上面进行操作 ③返回的都是新的数据集，不会改变原始数据集在介绍下一个包之前，我们先来引入一个dplyr包的综合运用： grouped..."B")] 使用j DT[,v1] #选择v1列那如果我要选择多列呢，大家注意一下这里不是用c()来选取了，而是通过.()来选取，注意前面有一个”.”号，所以我说data.table的语法有点奇怪呢...data.table把我们刚刚用group_by和summarise组合才能实现的功能，直接在一句代码里面就实现了，而且代码的可读性和可扩展运用性非常强！

2.5K7 0

R语言基因组数据分析可能会用到的data.table函数整理

； na,na 值的表示，默认""； dec 小数点的表示，默认"...前面三个选项都是用新的特定C代码写的，较快; buffMB 每个核心给的缓冲大小，在1到1024之间，默认80MB; nThread 用的核心数; showProgress 在工作台显示进程...drop 设置成FALSE显示没有联合成功的行列 value.var 填充值的列，默认会猜测现在我需要取数据DT的v1,v2两列相同的情况作为汇总的一类，对它们的v4值取平均，转换如下...index列，默认(NULL)不产生，如果idcol=TRUE，行名自动为.id，当然你也可以直接命名，比如idcol="id"； between 是data.table i 语法的扩展功能...一列x列号，一列相对应的y，如果nomatch=NA，不匹配的返回y的NA,如果nomatch=0,则跳过该列，设置mult="first“，mult=”last"则最后返回x一样的行数； verbose

3.4K1 0

「R」data.table 包功能特性学习

有值为A的列 DT[V2=="A"] ## V1 V2 V3 V4 ## 1: 1 A 0.341 1 ## 2: 2 A -0.746 4 ## 3: 1 A -0.380...# 返回第二列为一个向量 DT[, V2] ## [1] "A" "B" "C" "A" "B" "C" "A" "B" "C" "A" "B" "C" # 返回第二列与第三列为一个data.table...DT[, sum(V1)] ## [1] 18 # 返回V1列的和，V3列的标准差为一个data.table DT[, ....，输出返回不可视 # 返回满足键列（V2）值为A的所有行 setkey(DT, V2) DT["A"] ## V1 V2 V3 V4 ## 1: 1 A 0.341 1 ## 2:...有A或C值行V4列的和 DT[c("A", "C"), sum(V4)] ## [1] 52 # 对A,C分别求和 DT[c("A", "C"), sum(V4), by=.EACHI] ## V2

1.9K1 0

🤑 qPCRtools | 神仙R包分分钟搞定你的qPCR实验结果！~

这里我们的df.2文件至少要包含一个all的列，告诉R具体的反应体积。...result <- CalRTable(data = df.1, template = df.2, RNA.weight = 1) head(result) 4相对标准曲线和扩增效率的计算拿到新的...4.1 示例数据 df.1包含至少2列，孔的位置和Cq值。...(df.1.path) head(df.1) ---- df.2包含至少2列，孔的位置和浓度。...5.1 示例数据 cq.table至少包含position和Cq值。

7674 0

R语言︱情感分析—基于监督算法R语言实现（二）

词典与数据匹配等） ———————————————————————————————————————————————— 基于监督算法的情感分析存在着以下几个问题：（1）准确率而言，基于算法的方法还有待提高...目前以上三点是基于算法的方法需要改进和提高的关键点，至于分析情感的细腻程度、情感主体归属等等问题就不仅仅是算法这一种解决方案的问题了，其他方式同样也会遇到这类麻烦，可以另外作为一个新的课题进行研究。...trainterm <- trainterm[grepl("\\S", trainterm$term),] 3.1 计算TF指标如上图1，logic就是新加的一列数字。...（1）TF值跟训练集一样，添加一个辅助列，然后aggregate一下。...转换可以用的包有reshape2以及data.table。

1.8K2 0

文本情感分析：特征提取（TFIDF指标）&随机森林模型实现

基于监督算法的情感分析存在着以下几个问题：（1）准确率而言，基于算法的方法还有待提高，而目前的算法模型准确性很难再上一个层次，所以研究者要不创造更新更强大的算法，要不转向寻求其他的解决方案以使准确率更上一个台阶...目前以上三点是基于算法的方法需要改进和提高的关键点，至于分析情感的细腻程度、情感主体归属等等问题就不仅仅是算法这一种解决方案的问题了，其他方式同样也会遇到这类麻烦，可以另外作为一个新的课题进行研究。...trainterm <- trainterm[grepl("\\S", trainterm$term),] 3.1 计算TF指标如上图1，logic就是新加的一列数字。...（1）TF值跟训练集一样，添加一个辅助列，然后aggregate一下。...转换可以用的包有reshape2以及data.table。

9.1K5 0

「Workshop」第五期：使用data.table操作数据

" "data.frame" as.data.table() as.data.table()的适用范围更广 data.table::copy() 复制数据起一个新的名字，因为data.table...(x = sum(number))] x 1: 20 添加列 := 直接在原数据上增加新列或替换旧列 > dt[name == "apple", c := 1+2] > dt[name ==...4: 2.3955292 2 9 banana 3 6 5: 1.5170863 1 9 orange 6 6 检查索引 haskey(dt) : 返回逻辑值，...没有的信息用下一条代替可以设置多个索引 > haskey(dt)[1] TRUE > key(dt)[1] "number" "name" 可以使用索引简化计算举例1：计算name为apple所在行的number值总和...按相同的列内容进行data.table组合 ?

3.3K5 0

R语言入门之数据的导入和导出

操作系统中文件路径需用‘/‘来分隔 #第一个参数是读入的文件（由文件所在路径及其文件名构成） #第二个参数是指定是否将第一行作为列名，TRUE表示第一行即为列名 #第三个参数是指定分隔符 #第四个是指定行名所在的列，...指定列名为“id”这一列的数据为行名 mydata <- read.table("c:/mydata.csv", header=TRUE, sep=",", row.names="id") （2）...#读取制表符分隔文件和读取逗号分隔文件的方法很类似 #唯一不同可能就在与sep这个参数后边的值是\t，实际上\t就是指制表符 mydata <- read.table("c:/mydata.tsv",...header=TRUE, sep="\t", row.names="id") （3）读取普通的txt文件 #因为read.table()这个函数sep的默认值是空格，所以读取txt文件一般不需要设置...直接高效读取以.gz结尾的压缩文件一般在R中可以使用gzfile()的方式读取压缩文件，但如果使用data.table包里的fread()函数则可以大大提高工作效率。

3.4K4 0

《高效R语言编程》6--高效数据木匠

") library("stringr") library("readr") library("dplyr") library("data.table") 高效的tibble包 tibble定义了新的数据框...与正则表达式整理数据整理数据包括数据清理和数据重构，前者是重定格式与标记脏数据，stringi和stringr可以通过正则表达式更新脏字符串，assertive和assertr包可以在数据分析项目的一开始进行数据完整性的校验...用法是：gather(data,key,value，-religion),分别是数据框，要转换成分类的列名,单元值的列名和清除收集的变量使用seperate()分割联合变量分割是指将一个实际由两个变量组成的变量分割成两个独立列...列改名 rename()，使用反引号‘`’包裹，允许R使用不规范的列名。...summarize是一个多面手，用于返回自定义范围的汇总统计值。

1.9K2 0

剔除了两个样品前后的差异分析结果没什么区别？

这项研究有助于我们理解毛发形状的遗传基础，并可能为未来的治疗和美容产品开发提供科学依据。...output.Rdata') # ~~~~~ heatmap~~~~~ cg=names(tail(sort(apply(dat,1,sd)),1000))#apply按行（'1'是按行取，'2'是按列取...library(pheatmap) pheatmap(dat[cg,],show_colnames =F,show_rownames = F) #对那些提取出来的1000个基因所在的每一行取出，组合起来为一个新的表达矩阵...output.Rdata') 接下来就可以进行同样的质量控制和差异分析，如下所示：同样的质量控制和差异分析如果仅仅是看这两次质量控制和差异分析，会认为剔除了两个样品前后的差异分析结果区别很大，因为很明显哪怕是提高了变化倍数这个阈值后.../GSE193983//DEG.csv',data.table = F) remove_deg = fread(file = '.

691 0

开发ETL为什么很多人用R不用Python

modin.pandas vs data.table modin.pandas与data.table测试结果如下，所用数据5G，数据格式如上。...：https://url.cn/5HlosKF 1.2 modin read big csv failed：https://url.cn/5cOdpVJ 2.分类汇总测试内容：对于id3, id4两列分类汇总求...(id4, id5)] modin用时174秒，由于modin暂不支持多列的groupby，实际上还是用的pandas的groupby x.groupby([‘id4’,‘id5’]).agg({‘v3...DataFrame.groupby_on_multiple_columns defaulting to pandas implementation. 3.长宽表变换测试内容：id1, id4不动，对id5横向展开，值为对...## 2020年1月14号更新：关于应用场景，再次说明下， G级别数据或以下，频率低（如们每天跑一次），涉及到模型计算调度请用crontab，airflow；涉及到消息队列请用kafka；实时性高但数据量又大请用

1.9K3 0

点击加载更多

扫码

添加站长进交流群

领取专属 10元无门槛券

手把手带您无忧上云

好强一个Julia！CSV数据读取，性能最高多出R、Python 22倍

R语言数据分析利器data.table包 —— 数据框结构处理精讲

能不能让R按行处理数据？

「R」数据操作（三）：高效的data.table

Matt Dowle 演讲节选（二）

R语言︱数据集分组、筛选(plit – apply – combine模式、dplyr、data.table)

R练习50题 - 第一期

R语言学习笔记之——数据处理神器data.table

5个例子比较Python Pandas 和R data.table

懒癌必备-dplyr和data.table让你的数据分析事半功倍

R语言基因组数据分析可能会用到的data.table函数整理

「R」data.table 包功能特性学习

🤑 qPCRtools | 神仙R包分分钟搞定你的qPCR实验结果！~

R语言︱情感分析—基于监督算法R语言实现（二）

文本情感分析：特征提取（TFIDF指标）&随机森林模型实现

「Workshop」第五期：使用data.table操作数据

R语言入门之数据的导入和导出

《高效R语言编程》6--高效数据木匠

剔除了两个样品前后的差异分析结果没什么区别？

开发ETL为什么很多人用R不用Python

扫码

相关资讯

热门标签

活动推荐

运营活动

社区

活动

资源

关于

腾讯云开发者

热门产品

热门推荐

更多推荐