在分组的data.table上并行运行用户定义的for循环函数_Spark中的用户定义函数(UDF)是否在集群工作节点上并行运行？_在Python中对包含" for“循环的已定义函数应用"for”循环的并行处理 - 腾讯云开发者社区

R语言作为专业的统计计算语言，数据处理是其一大特色功能，事实上每一个处理任务在R语言中都有着不止一套解决方案（这通常也是初学者在入门R语言时，感觉内容太多无从下手的原因），当然这些不同方案确实存在着性能和效率的绝大差异...你用会写for/while循环，就不太愿意去掌握apply组函数，甚至那些性能逆天的并行算运算包；刚开始会用基础字符串处理，看到stringr包就面临着技能工具更新的问题…… 太多的选择，让人眼花缭乱，...当整列和聚合的单值同时输出时，可以支持自动补齐操作。当聚合函数与data.table中的分组参数一起使用时，data.table的真正威力才逐渐显露。 mydata[,....如果想要运行的同时进行输出则可以在结尾加上[] setorder(mydata,carrier,-arr_delay)[] ? 这个功能有点儿类似于基础函数中，在语句外部加上圆括号。...以上语法加入了新的参数.SDcols和.SD,咋一看摸不着头脑，其实是在按照carrier,origin,dest三个维度分组的基础上，对每个子块特定列进行均值运算。

3.6K8 0

滚动回归中调用多核CPU

这个运算在大猫的i7 3.5G+32G+1T SSD的地球人上似乎要永远运行下去，于是大猫只得乖乖停止进程思考提高运算效率的办法。...众所周知，绝大多数数据清洗任务都只能单线程运行，不论是R的data.table包还是SAS的data步都是如此，唯一存在提高空间的就是多次重复的回归拟合进行并行计算。...如果你的CPU没有超线程，直接根据核心数设置即可 # 在大猫的机器上，核心数从4提高到8只带来小幅提高 cl <= makeCluster(8) # 注册你的并行计算集群 # 过程中有可能弹出Windows...这个参数的值必须是一个函数，这个函数用来对最终foreach生成的list进行处理，在文中我们设置值为 rbindlist，也即我们要求doParallel将最终的输出的list合并成一个data.table...毕竟对于并行计算来说，无论是CPU多核还是AMD的Crossfire或者Nvidia的SLI，都不可能达到1+1=2的效果。doParalle在大猫的四核CPU上时间节约了2/3，大猫已经很开心啦。

1.4K2 0

您找到你想要的搜索结果了吗？

是的

没有找到

keras 自定义loss损失函数,sample在loss上的加权和metric详解

中自定义metric非常简单，需要用y_pred和y_true作为自定义metric函数的输入参数点击查看metric的设置注意事项： 1. keras中定义loss，返回的是batch_size长度的...为了能够将自定义的loss保存到model，以及可以之后能够顺利load model，需要把自定义的loss拷贝到keras.losses.py 源代码文件下，否则运行时找不到相关信息，keras会报错...每次梯度更新的样本数。如果未指定，默认为 32。 epochs: 整数。训练模型迭代轮次。一个轮次是在整个 x 和 y 上的一轮迭代。...例如，一个 epoch 的最后一个 batch 往往比其他 batch 要小，如果数据集的尺寸不能被 batch size 整除。生成器将无限地在数据集上循环。...loss损失函数,sample在loss上的加权和metric详解就是小编分享给大家的全部内容了，希望能给大家一个参考。

4K2 0

R语言高级数据结构data.table

对于data.frame大家应该很熟悉，它可以存储不同数据类型的向量数据。今天给大家介绍一个升级版的data.frame，其不仅可以存储不同数据类型还可以进行多列的并行运算。...首先看下此格式数据的生成： fread 自带的读入数据的函数，可以直接将txt,csv读入并生成相应的data.table格式数据。...3. data.table中数据函数的调用以及并行运算的加入： DT[,sum(y)] DT[,.(sum(y),sum(v))] ? 4. 自定义函数的执行，需要用{}包裹所有的命令。...分组计算的运算，可以单列分组也可以多列分组： DT[,.(sum=sum(y)),by=x] DT[,.(sum=sum(v)),by=.(x,y)] ? 6....各分组的计数函数.N，例： DT[,.N,by=x] 7. 其中数据各列的增加，删除，修改，用到的函数是:=。 DT[,y1:=y] DT[,y:=NULL] DT[,y:=(y+1)] ?

2.1K3 0

R语言数据分析利器data.table包 —— 数据框结构处理精讲

包括两个方面，一方面是写的快，代码简洁，只要一行命令就可以完成诸多任务，另一方面是处理快，内部处理的步骤进行了程序上的优化，使用多线程，甚至很多函数是使用C写的，大大加快数据运行速度。...比：=还快，通常和循环配合使用至于这个操作究竟有多快，可以看一下(参照官方manual的命令），另外个人觉得最牛的三个函数是set(）,fread,和fwrite fread fread(input..., by=x][order(x)] #和上面一样，采取data.table的链接符合表达式 DT[v>1, sum(y), by=v] #对v列进行分组后,取各组中v>1的行出来，各组分别对定义的行中的...y求和 DT[, .N, by=x] #用by对DT 用x分组后，取每个分组的总行数 DT[, .SD, .SDcols=x:y] #用.SDcols 定义SubDadaColums（子列数据)，这里取出...函数画图，对于每个x的分组画一张图 DT[, m:=mean(v), by=x] #对DT按x列分组，直接在DT上再添加一列m,m的内容是mean(v)，直接修改并且不输出到屏幕上 DT[, m:=mean

5.6K2 0

data.table包使用应该注意的一些细节

因此对于不是非常巨大的文件，建议设置为1，不要使用全部核心 fread中sep是自动检测的所以在循环读入文件的过程中，就算不同文件的分隔符不同，也可以循环一次性方便的读入；还有就算后续改变了文件的分隔符...as.data.table函数中同样有一个rownames参数，设置为T可以将行名保留下来作为data.table的一列不建议set和for循环一起使用虽然set可以在内存上直接改变数值，但在R...中用for循环比批量列运算慢的多，因此首选:=或者apply等在处理浮点数时会有一些准确性的问题比如用seq函数numeric类型的数值时，会存在不准确的问题，比如seq(0,1,by=0.2)...现在只发现seq函数会出现这种情况，manual中提供了一个函数解决这个问题，setNumericRounding(2) ，去除最后两个字节，这样运行的更快，也不会出现0.6不等于0.6的问题支持数据框取交集和并集...分隔，分割成c1，c2两列支持类似于SQLs的分组运算带有rollup， cube， groupingsets函数参考资料 data.table 1.11.2 manual：https://cran.r-project.org

1.5K1 0

Matt Dowle 演讲节选（二）

在2004年的第一天，Matt 离开了所罗门兄弟，也离开了 S-PLUS。他开始不断尝试，终于用自己的方式重写了[.data.frame这个函数，从而让sum(B)在 R 中也能得以运行。...选择、运算、分组，三个截然不同的命令被完美的整合到了DF[i, j, by]的语法中，更妙的是，上一步运算的结果可以直接作为下一步的输入数据集！...在这个2012年（注意dplyr的最早版本在2016年！）的帖子中，一个用户需要处理以下数据集（这里只显示前6行） ? 他想首先按照gene_id分组，然后分别计算特定变量的极值和均值。...这个用户一开始使用lapply和do.call函数，不仅计算时间很长（30 min！），而且代码特别难看： ? 而使用data.table,则简直是一阵春风： ?...2014：data.table的现在 fread函数在演讲的最后（演讲在2014年），Matt 提到了当时他正在给data.table添加的新功能：fast read，也即fread函数。

1.1K4 0

【测评】提高R运行效率的若干方法

首先，我们看看最花费时间的这段函数：第一招：用apply函数代替For循环其实我们知道在R里面最能提升效率的一个方法就是少用For循环，多用apply，因为R是面向数组的语言，apply面向数组遍历...，效率自然要高上十倍还多。...第二招：利用函数编译提高效率既然循环没有问题，那我猜会不会是cor.test这个函数计算花费的时间太长了。...第五招：多线程并行运算经过上面的尝试之后，我们体会到pathway.score这个函数包含数据索引，计算，递归，循环，建表等诸多操作，因此单独使用一种方法可能对总体速度提高不是很明显，因此最好是能同时计算...好消息是万能的R提供了现成的并行计算包，能够轻松实现多线程计算。

1.1K1 0

R︱高效数据操作——data.table包（实战心得、dplyr对比、key灵活用法、数据合并）

网络上充斥的是data.table很好，很棒，性能棒之类的，但是从我实际使用来看，就得泼个水，网上博客都是拿一些简单的案例数据，但是实际数据结构很复杂的情况下，批量操作对于data.table编码来说，...，而data.table是setorder函数，同时降序的方式。...DT数据集按照x分组，然后计算v变量的和、最小值、最大值。（2）dplyr函数利用%>%（链式操作）来改进：链式操作是啥意思呢？...%>%的功能是用于实现将一个函数的输出传递给下一个函数的第一个参数。注意这里的，传递给下一个函数的第一个参数，然后就不用写第一个参数了。在dplyr分组求和的过程中，还是挺有用的。...—————————————————————— 实战一：在data.table如何选中列，如何循环提取、操作data.table中的列？

7.4K4 3

R语言︱数据集分组、筛选(plit – apply – combine模式、dplyr、data.table)

2.aggregate函数不能对分组后的数据进行多种汇总计算，因此要用两句代码分别实现sum和max算法，最后再用cbind拼合。显然，上述代码在性能和易用性上存在不足。...3.Lapply函数也不支持多种统计方法，因此也要用两句代码分别实现sum和max算法，最后再用cbind拼合。另外，本算法还要额外用到split函数，因此在易用性上没有改进，反而是更差了。...总结：本算法在性能上有所提高，但在易用性上明显不足，在代码写法、业务逻辑、计算结果上仍然存在不一致。...tapply 只对单字段分组适用，在进行双字段联合分组时其结果为二维矩阵，用户还需要进行复杂的处理才行，比如 tapply(orders$AMOUNT, orders[,c("SELLERID","CLIENT...data.table包的语法简洁，并且只需一行代码就可以完成很多事情。进一步地，data.table在某些情况下执行效率更高。

20.5K3 2

一行代码搞定分组回归

写在前面在目前为止所有小伙伴们向大猫请教过的R问题中，大猫总结了最常遇见同时也是比较难的三个问题，分别是（1）事件研究法；（2）分组回归；（3）滚动回归。...事件研究法在第一期中已经讲述，本期我们就来瞧瞧如何做分组回归~ PS：由于微信的限制，给大猫留言的小伙伴超过48小时后大猫就不能回复你们了。所以如果想联系大猫，可以按照文章最后的微信号加大猫微信哦。...keyby语句为data.table包中的分组语句，它能够对keyby中的每一个不同的值（这里为abcde）都分别跑一次回归。...具体而言，如果此时keyby语句循环到'a'，那么.SD就表示原数据集中所有stkid == 'a'的行。在这里，.SD用来作为回归函数lm的输入数据集。 coef函数用来提取回归的系数。...整行代码的关键在as.list函数。我们先看看如果不加as.list结果会是怎样的： ? 小伙伴们会发现此时每个组都有两行观测，其实他们分别对应着回归的intercept和coefficient。

3.4K4 0

几种加快R语言运算的方法

提升R代码运行速度并不需要很高级的优化技术, 例如代码并行化, 使用数据库, 使用c++等....实际上, 通过简单的操作, 就能够是R的运算速度显著的加快, 下面介绍几种方法. 1, 向量化 R语言允许用户进行向量化编程, 这样速度更快....不需要预先定义变量, 可以直接使用....所以在使用变量时, 提前声明变量的大小, 会提升速度不预先分布内存这个程序, 不知道dat的长度是多少, 因此是动态的内存结构....for循环 apply函数及其变种: lapply sapply tapply 如果各个迭代之间相互独立, 那么apply函数是可以代替for循环的 for循环 set.seed(123) dat= rnorm

2.2K2 0

「R」数据操作（三）：高效的data.table

接「R」数据操作（一）和「R」数据操作（二）使用data.table包操作数据 data.table包提供了一个加强版的data.frame，它运行效率极高，而且能够处理适合内存的大数据集，它使用[]...N是最常用的符号之一，它表示当前分组中，对象的数目（就不用调用nrow函数啦）。在[]使用它指提取最后一行。...然后在每个子集data.table的语义中计算j表达式。...内部或外部预定义的符号。...举例，我们定义一个函数，计算market_data中由用户定义的列的年度均值： average = function(column){ market_data[, .

5.9K2 0

从一件数据清洗的小事说起

” 本期“大猫的R语言公众号”由“村长”供稿。村长，数据科学、指弹吉他及录音工程爱好者，浙大金融学博士在读，在data.table包和MongoDB的使用上有较多经验。...：图一为大佬代码的运行时间，图二为笔者代码运行时间 ?...实际上，for循环“只会在不恰当使用时”降低性能。然而大佬毕竟是大佬，用科学的态度做了实验并给出了结论： ?...其实这一期这么扯淡的讲这么多事情，只是为了说明一点，data.table真的有很好的性能，尤其在处理海量数据方面（在分组特别多的时候，相比dplyr和pandas有2x~10x的提升，来自官方文档）。...相较之下，data.table则通过把数据处理中最常见的“选取行”、“修改列”、“分组”三大操作通过dt[i,j,by]的语法统一了一起来。

6691 0

128-R茶话会21-R读取及处理大数据

毫无疑问的指向data.table 包中的fread。它有两个优点：效率飞速，自带多线程操作； data.table 格式很好地节约内存。可是，300多G 对我来说还是有些大了。...1.1-逐行读取数据使用命令readLines，该函数通过与文件建立某种连接，并设置参数n控制每次读取的行数。...通过设置循环，每次固定读取一定行数的文件，并设置循环退出条件为读取结果为零即可： while( TRUE ){ # read genotype tmp <- readLines(genotype.file...而如snowfall 等并行处理的包，似乎无法处理readLines 这种文件链接，在我的测试中，每次并行循环都会重建链接，也就是若干个前N 行的文件。 1.2-将数据拆分那么该如何来并行呢？...2-优化处理过程首先，我的矩阵是从数据框得到的，而它们读入时被定义为了字符串型，我需要对他们使用转型。使用apply？来点多线程，mapply? no,no,no。

4002 0

基于data.table的“tidyverse”？

tidyverse作为R语言数据分析中的瑞士军刀，非常好用，一个小小的缺点就是速度慢，data.table速度快，所以他们团队又开发了dtplyr，加快运行速度。...不过今天要介绍的是另一个，基于data.table的tidyverse：tidytable。使用起来非常简单，只需要在原有函数后面加一个.即可！！！...和group_by()稍有不同，这里需要使用.by = 进行分组汇总。...语法借助dt()函数实现对data.table语法的支持。...中和数据分析有关的函数都可以使用，详细支持的函数列表大家可以在这里[1]找到。

4235 0

理解并行计算：r future为什么会启动比workers多得多的线程？

r的future包提供了一种实现多线程并行计算的接口，但有时候在使用时，我发现r启动了比我设定的多得多的计算资源。...( mean = mean(x$v1), sd = sd(x$v1) ) }) rv 上面我启用了10个线程（workers）对数据进行处理，但实际运行的时候CPU的资源图可以会类似下面这样...问题的核心在于R很多包或者底层库在你不知道的情况下启动了并行计算，例如data.table。...举一个例子就是，如果你指定了4个worker，你只想使用4个CPU核心计算，但如果并行计算的内容函数使用了像data.table包的操作，而默认情况下data.table为了加速计算会使用系统全部的核心数目...如@mxblsdl展示的例子，就可以手动进行设定解决这样的问题，即并行计算的函数开头设定仅只使用单线程（这样就变成了 4x1 = 4）。

9552 0

For循环与向量化（Vectorization）

除此之外，能否有其他的思路？ ” 解决方法 For循环首先我们用R语言最底层的For循环进行函数的编写。...我们定义向量长度为10000，重复运行1000次，测定计算其运行的中位数时长（为了防止极值对结果的影响）。...关于For循环和Vectorization的深入思考 Vectorization在更多包的拓展现在有很多的R包会对底层的一些函数进行优化，也即是对向量化的进一步优化，我们选择效率较为强大的data.table...通过运行结果可以发现，Rcpp调用的底层循环略优于data.table的向量化，运行时间在0.03s左右。...总结通过上面的运行效率排序可以发现：我们也可以总结出以下两点：在R语言中一般意义上的数据操作，能够向量化尽量进行向量化，For循环尽量避免使用。

1.8K3 0

R练习50题 - 第二期

等不及想先睹为快的同学，请猛戳这里： “ github.com/Ravin515/r-data-practice ” 另外，感谢frankzhangyd同学在Github上提的建议！ ?...由于股票代码symbol的最后两个字符表示交易所（例如，600123.SH表示上海交易所，股票代码600123），我们在建立分组变量时需要使用str_sub函数截取最后两个字符。代码及解析： ?...练习 4 沪深300成分股中，每天上涨、下跌的股票各有多少？分析：本题仍旧是Ex-2的拓展，只不过要求我们进行行选择操作。在data.table的dt[i,j,by]语法中，i代表行选择操作。...data.table只会选择为True的那些元素。在data.table的dt[i, j, by]语法中，先执行行选择操作i, 再执行分组操作by, 最后执行列操作j。...注意以上运算的结果是一个取值为True或False的向量，data.table最终会挑选出为True的那些行。我们仍旧使用ifelse函数生成updown这个变量。

8522 0

关于data.table中i, j, by都为数字的理解

在往期的公众号文章，都提到了data.table的主要语句DT[i, j, by], 简而言之，i 用来选择或者排序，by 用来分组，j 用来运用函数进行处理。...首先，我们单独看i只有一个1的情况下是什么运行结果，为了让运行出来的代码被认定是data.table的格式，我们在j中加入.SD（不清楚.SD用途的小伙伴可以查看data.table的manual，或者查看笔者上一篇推送用...data.table语句批量处理变量），代码如下： mtcars[1, .SD] 运行结果如下： ?...接下来，我们在by的位置加上一个1，代码如下： mtcars[1, .SD, 1] 再来看看运行结果： ? 这时多了一列变量，变量名缺失，且只有一行观测值为数字“1”。...结果分析从这样一段拆解当中，我们大致就可以明白为什么会出现这样的结果了，整体的运行思路就是：首先选出了第一行，而后在by中以一个变量名默认为NA的变量为基准，最后在j中生成了一个默认变量名为V1的变量

1.2K3 0

点击加载更多

扫码

添加站长进交流群

领取专属 10元无门槛券

手把手带您无忧上云

R语言学习笔记之——数据处理神器data.table

滚动回归中调用多核CPU

keras 自定义loss损失函数,sample在loss上的加权和metric详解

R语言高级数据结构data.table

R语言数据分析利器data.table包 —— 数据框结构处理精讲

data.table包使用应该注意的一些细节

Matt Dowle 演讲节选（二）

【测评】提高R运行效率的若干方法

R︱高效数据操作——data.table包（实战心得、dplyr对比、key灵活用法、数据合并）

R语言︱数据集分组、筛选(plit – apply – combine模式、dplyr、data.table)

一行代码搞定分组回归

几种加快R语言运算的方法

「R」数据操作（三）：高效的data.table

从一件数据清洗的小事说起

128-R茶话会21-R读取及处理大数据

基于data.table的“tidyverse”？

理解并行计算：r future为什么会启动比workers多得多的线程？

For循环与向量化（Vectorization）

R练习50题 - 第二期

关于data.table中i, j, by都为数字的理解

扫码

相关资讯

热门标签

活动推荐

运营活动

社区

活动

资源

关于

腾讯云开发者

热门产品

热门推荐

更多推荐