首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

R语言数据分析利器data.table包 —— 数据框结构处理精讲

kDT=copy(DT) #kDT时DT一个copy **rowid(..., prefix=NULL) **  产生uniqueid,prefix参数id前面加前缀 setattr 设置...,默认FALSE,如果TRUE,跳过空白行 key,设置key,用一个多个列名,会传递给setkey showProgress,TRUE会显示脚本进程,R层次C代码 data.table,TRUE...,比如data.framedata.table等; file,输出文件名,""意味着直接输出到操作台; append,如果TRUE,原文件后面添加; quote,如果"auto",因子列名只有在他们需要时候才会被加上双引号...showProgress,工作台显示进程,当用file==""时,自动忽略此参数 verbose,是否交互报告时间 data.table数据框结构处理语法 data.table[ i , j ,...比如此例取出DT X 列为"a"行,"a"进行merge。on参数第一列必须是DT第一列 DT[.

5.6K20

R语言基因组数据分析可能会用到data.table函数整理

因此,在对大数据处理上,使用data.table无疑具有极高效率。这里主要介绍基因组数据分析可能会用到函数。...by ]语法做 但是如果我要将上述DTv3作为一个影响因素,作为tag,先按v1、v2汇总,再将对应v4值分为v3=1v3=2两类,查看v1、v2取值相同v3不同对应v4情况,这个时候用dcast...也有不同之处,一是use.names参数,可以指定是否使用相同列名bind,二是rbindlist可以使用在不知道对象名字情况下,比如lapply(fileNames, fread) 。...by.y默认key(y); maxgap 设定两个区域空白区允许最大值,参数尚不能使用; minoverlap 设定两个区域最小重叠区,参数尚不能使用; type...当时TRUE时候,工作台交互 chmatch 返回各字符串第二个对象首匹配位置,是match%in%加速版本。

3.2K10
您找到你想要的搜索结果了吗?
是的
没有找到

数据流编程教程:R语言与DataFrame

参数配置方面是原生read.xxx()函数族是看齐。...实际使用,data.talbe::fread()读取速度可以比原生read.csv有3-10倍提升速度。...tidyr主要提供了一个类似Excel数据透视表(pivot table)功能,提供gatherspread函数将数据长格式宽格式之间相互转化,应用在比如稀疏矩阵稠密矩阵之间转化。...数据处理 dplyr/rlist/purrr 1. dplyr dplyr包是现在数据流编程核心,同时支持主流管道操作 %>%,主要数据处理方法包括: (1)高级查询操作: select...3. purrr purrr向Scala这样具有高级类型系统函数式编程语言学习,为data frame操作提供更多函数式编程方法,比如map、lambda表达式。

3.8K120

「r」dplyr 里 join 与 base 里 merge 存在差异

今天使用连接操作时发现:虽然都是合并操作函数,dplyr 包里 *_join() 基础包里面的 merge() 存在差异,不同数据结构,结果也会存在偏差。...相同数据,不同操作函数存在差异 进行连接操作时,我们会发现 dplyr 结果会报错!...所以使用 dplyr 提供连接函数报错是正常,但有意思是,基础包提供 merge() 函数可以完成连接操作,真是优秀(感兴趣朋友可以看下测试下 merge 函数源代码)!...本质上是 data.table 体格泛型函数支持类似基础包操作。 如何编写代码支持对上述数据集连接操作?...2 S1 S2 S2 S1 S2 更新 在后面的一些使用过程中发现基础包 merge() 函数进行连接操作时会输出有问题结果,所以建议使用小伙伴仔细检查结果。

1.5K30

R语言进阶笔记5 | purrr替代循环

2 泛函式函数 泛函式定义 函数函数成为泛函式,map(x,f)map函数,f也是函数,f是map参数,那么map就是泛函数。...(dat,mean) $y1 [1] 0.7675322 $y2 [1] 10.36194 如果使用apply系列lapply函数,是这样处理: > lapply(dat,mean) $y1 [...3 map不同类型 map函数支持一元函数 map2函数支持二元函数 pmap函数支持多元函数 这里先模拟数据: > dat = data.frame(x1 =rnorm(10),x2 = rnorm...这里map2可以支持二元函数,比如: map2(dat$x1,dat$x2,~max(.x,.y)) 上面的.x.y表示datx1, datx2两个元素,~max表示匿名函数。...1] -0.2338953 $x3 [1] -0.3660053 $x4 [1] 0.02137338 7 map用法1:批量建模 这里使用R包learnasremlMET数据,进行测试

3.2K10

R 数据整理(十一: 用purrr包实现更花样匿名函数使用

需要注意是, 如果map()等泛函无名函数需要访问其它变量的话, 需要理解其变量作用域访问环境。另外, 无名函数其它变量每次被map()应用到输入列表元素时都会重新计算求值。...iwalk/imap 这一族函数同时访问下标元素名与元素值。...purrrpmap类函数支持对多个列表、数据框、向量等进行向量化处理。pmap不是将多个列表等作为多个自变量, 而是将它们打包为一个列表。...x, intersect) ## [1] 2 3 ps:reduce()支持...参数, 所以可以给要调用函数额外自变量选项。...reduce2 reduce2(x, y, f) x是要进行连续运算数据列表向量, 而y是给这些运算提供不同参数

2.4K30

R语言︱数据集分组、筛选(plit – apply – combine模式、dplyr、data.table)

base包里split功能接近函数有cut(对属性数据分划),strsplit(对字符串分划)以及subset(对向量,矩阵数据框按给定条件取子集)等。...3.Lapply函数也不支持多种统计方法,因此也要用两句代码分别实现summax算法,最后再用cbind拼合。另外,本算法还要额外用到split函数,因此易用性上没有改进,反而是更差了。...其中 sapply 用法 lapply 区别只参数上,如下: sp<-split(orders,orders[,c("SELLERID","CLIENT")],drop=TRUE) result1...使用data.table时候,需要预先布置一下环境: data<-data.table(data) 如果不布置环境,很多内容用不了。...data.table比较简洁一步搞定,dplyr花了两步,不过也dplyr也可以通过%>%来实现一步搞定。%>%功能是用于实现将一个函数输出传递给下一个函数一个参数

20.5K32

R语言︱文件读入、读出一些方法罗列(批量xlsx文件、数据库、文本txt、文件夹)

(mydsn)用户名(user)以及密码(rply,如果没有设置,可以直接忽略)打开了一个ODBC数据库连接 data(USArrests) #将R自带“USArrests”表写进数据库里 sqlSave...但fread函数支持xlsx读入。。。...———— 五、批量读入文件夹指定文件(如*.xlsx) 代码思路:先遍历文件夹(list.files),然后通过循环依次读写(read.xlsx)。...excel列表一样: id names 1 “您好” 2 “格式” 3 “读取” 所以需要去掉行、列名,同时去掉双引号。...,最终结果,结合地方会多一个空格,当然也可以用去空格方式排除,但是不够好。

5.5K31

MLQuant:基于XGBoost金融时序交易策略(附代码)

全网TOP量化自媒体 作者:Smith 编译:方馒头 1 引言 使用机器学习过股票价格来预测下一个时期价格方向并不是什么新鲜事,它也不会产生任何有意义预测。...,我们将清理一下数据,将所有列表放入一个单独数据框,计算每种资产每日收益并创建向上向下方向,这将是分类模型试图进行预测。...该函数对我们数据每项资产执行以下操作: 使用样本外t+1(assessment)数据,将这些列表绑定到一个dataframe。...第一个rolling_origin()函数是用于通过获取前100天数据并计算其上tsfeatures函数来帮助滚动基础上向下折叠时间序列数据,这与使用zoo包rollapply()函数来计算使用滚动平均值...这是dtraindtest正在做然后,我们设置XGBoost参数并应用XGBoost模型。

2.7K41

data.table语句批量处理变量

村长继续为大家奉上data.table使用案例心得,希望大家能够继续支持村长!!...直 观处理法:分别处理每一个变量 大家最直观处理方法,肯定是把每一个变量写在j然后分别进行日期格式修改,诸如如下形式: DT[, ':='(`除权除息日\r\n[报告期] 2010一季` = as.Date...批 量处理法:用lapply批量处理变量 在此时lapply妙用就显现出来了,Rlapply用来对list一个element进行相同处理,如何把它运用到data.table,话不多说先上代码:...我们知道data.table,.SD是经过iby处理之后剩下那部分数据集,它格式是一个data.table同时它是一个list。...而我们要处理变量是第3个到第34个,所以.SD中选出3至34列,运用lapply对选中.SD[, 3:34]里面每一个element使用as.Date函数。 再看,':='左边。

1.1K30

R语言学习笔记之——数据处理神器data.table

数据处理在数据分析流程地位相信大家都有目共睹,也是每一个数据从业者面临最为繁重工作任务。...使用fread函数导入之后便会自动转化为data.table对象,这是data.table所特有的高性能数据对象,同时继承了data.frame传统数据框类,也意味着他能囊括很多数据框方法函数调用。...当整列聚合单值同时输出时,可以支持自动补齐操作。 当聚合函数data.table分组参数一起使用时,data.table真正威力才逐渐显露。 mydata[,....如果想要运行同时进行输出则可以结尾加上[] setorder(mydata,carrier,-arr_delay)[] ? 这个功能有点儿类似于基础函数语句外部加上圆括号。...当然你要是特别不习惯这种用法,还是习惯使用merge的话,data.table仍然是支持,因为他本来就继承了数据框,支持所有针对数据框函数调用。

3.6K80

隐式循环及function函数

隐式循环 单细胞分析,我们读取多个单细胞数据集时通常会用到lapply()函数,循环读取多个数据集 比如在技能树最近如何整合多个单细胞数据集推文中,就多次用到了lapply()函数 dir='GSE152938...对于像+、%*% 这样函数函数名必须加上反引号引号。...用户友好版本包装器,默认情况下通过应用simplify2array()返回一个向量、矩阵,如果simplify = "array",则在适当情况下返回一个数组。...NAMES = FALSE)与lapply(x, f)相同。 Vapply类似于sapply,但它有一个预先指定返回值类型,因此使用它可能更安全(有时更快)。...写函数函数——function() 使用apply或者lapply函数时,都有FUN参数,就是我们执行循环时需要用函数,这个函数可以是内置比如mean或者sum等函数,也可以由我们自己构建 如果需要写对应需求函数

11010

「R」用purrr实现迭代

迭代方式主要有两种: 命令式编程 - forwhile 函数式编程 - purrr 准备工作 purrr是tidyverse核心r包之一,提供了一些更加强大编程工具。...因为R是一门函数式编程语言,我们可以先将for循环包装在函数然后再调用函数,而不是使用for循环,因此for循环R不像在其他编程语言中那么重要。...接下来我们将学习使用purrr包,它提供函数可以替代很多常见for循环应用。R基础包apply应用函数族也可以完成类似的任务,但purrr函数更一致,也更容易学习。...如果我们面临一个复杂问题,那么将其分解为可行子问题,然后依次解决。使用purrr,我们可以解决子问题,然后用管道将其组合起来。...$cyl) %>% map(function(df) lm(mpg ~ wt, data = df)) 因为R创建匿名函数语法比较复杂,所以purrr提供了一种更方便快捷方式——单侧公式

4.7K20

Mybatis 面试常问问题总结(附答案)

主要有如下优点: 消除了代码映射规则,被分离到 XML 注解配置; 配置 XML 后,无需再管理数据库连接; 一个会话,不用操作多个对象,只要操作 Session 对象即可; 关闭资源只需关闭...; 支持对象与数据库 ORM 字段关系映射; 缺点 主要工作集中 SQL 开发,所以对 SQL 熟练度要求较高; 移植性查,SQL 依赖于数据库,切换不同数据库会因语法差异而报错; MyBatis ...SQL 语句,同时负责查询缓存维护; MappedStatement 对象, Executor 接口执行方法中有一个 MappedStatement 类型参数,该参数是对映射信息封装,用于存储要映射...like '%{question}%' 可能引起 SQL 注入,不推荐使用; "%{question}%",因为 #{} 解析时会在最外侧自动加单引号,所以外层需要使用引号,不能使用引号,否则将查询不到任何结果...,实现自定义插件,插件拦截方法内拦截待执行 SQL,然后重写 SQL,根据 dialect 方言,添加对应物理分页语句物理分页参数

1.7K10

V5版seurat读取不同格式单细胞数据

但目前seurat包已经更新到5.0.1版本,更新后使用起来也花了一些时间Seurat包更新与使用初探 虽然感觉seurat对象结构上,V4V5版本区别不大——V5V4版Seurat对象内部结构对比详细版...如果是单个样品,直接读取进来然后创建seurat对象即可:初试SeuratV5版本 主要区别在于,V4版本中一般是循环读取样品,使用CreateSeuratObject创建seurat对象,然后使用merge...而在V5版seurat如果是分开读取多个文件后,再使用merge函数其实并没有把每个样品表达量矩阵merge。...那我们可以先把多个样品合并成为了一个超级大表达量矩阵,并使其行名为基因名,列名为barcodes信息,后面直接针对它来使用CreateSeuratObject函数去构建Seurat对象,就是完美的下游分析输入数据啦...head(sce.all@meta.data) h5格式 h5格式其实也有对应函数Read10X_h5()可以直接读取,但是Read10X_h5使用循环读取多个数据文件,会返回一个list,需要手动整合一下

2K23

CSS预处理器之SCSS

支持两种数字类型:单位数字不带单位数字。...字符串函数 索引第一个为 1,最后一个为-1;切片两边均为闭区间 函数参数类型 函数作用 quote($string) 添加引号 unquote($string) 除去引号 to-lower-case...映射函数 函数参数类型 函数作用 map-get($map, $key) 获取$map$key 对应$value map-merge($map1, $map2) 合并$map1$map2,返回一个新...所有的$value map-has-key($map, $key) 判断$map是否存在$key,返回对应布尔值 keywords($args) 返回一个函数参数,并可以动态修改其值 # e....)透明(alpha)创建一个颜色 saturation(color) 从一个颜色获取饱和度(saturation)值 lightness(color) 从一个颜色获取亮度(lightness)

3.8K10

Sass控制命令及函数知识整理

Sass 除了 @if 之,还可以配合 @else if @else 一起使用。 示例::控制一个元素隐藏显示代码, 原理:定义一个混合宏,通过 @if...@else... ...:一堆数找出最小值   这个函数可以设置任意多个参数,多个参数之间用逗号隔开。   若小数点是最小,则保留小数点数,原样返回。   多个参数可以单位,有几个有几个不带。   ...y}; 19 } 20 } G).keywords($args)  定义上说:这个函数可以动态创建map函数,但是我自己思考,若要动态添加keyvalue值,map函数也是可以额。...但是他一个特色用法是:可以通过混合宏函数参数动态创建map函数参数也是成对出现。...同前面介绍 RGB 函数,rgba() 函数 其可以创建一个颜色,同时还可以对颜色修改其透明度。

3.2K60

《高效R语言编程》6--高效数据木匠

与基本R类似函数不同,变量无需使用 $ 操作符就可直接使用,设计与magrittr包%>%管道操作符一起使用,以允许每个数据阶段写成新一行。其是一个大型包,本身可以看成一门语言。...列改名 rename(),使用引号‘`’包裹,允许R使用不规范列名。...非标准计算 代码没有引号包裹原始名字,这种方式叫做非标准计算(NSE),高效交互使用函数,减少键盘输入,允许Rstudio自动完成。还是函数名多个_。...这里建议不要把数据库密码API密钥等放在命令,而要放大.Renviron文件。dbConnect()函数连接数据库,dbSendQuery()查询,dbFetch()加载到R。...数据库与dplyr 必须使用src_*()函数创建一个数据源。# 使用data.table()处理数据 是dplyr替代,两个哪个好存在争议,最好学一个一直坚持下去。

1.9K20

Sass-学习笔记【进阶篇】

Sass 除了 @if 之,还可以配合 @else if @else 一起使用。 示例::控制一个元素隐藏显示代码, 原理:定义一个混合宏,通过 @if...@else... ...:一堆数找出最小值   这个函数可以设置任意多个参数,多个参数之间用逗号隔开。   若小数点是最小,则保留小数点数,原样返回。   多个参数可以单位,有几个有几个不带。   ...y}; 19 } 20 } G).keywords($args)  定义上说:这个函数可以动态创建map函数,但是我自己思考,若要动态添加keyvalue值,map函数也是可以额。...但是他一个特色用法是:可以通过混合宏函数参数动态创建map函数参数也是成对出现。...同前面介绍 RGB 函数,rgba() 函数 其可以创建一个颜色,同时还可以对颜色修改其透明度。

4.3K80

老司机用一篇博客带你快速熟悉Dart语法

(五)map集合 一般来说,map是将键值相关联对象。键值都可以是任何类型对象。 每个键只出现一次,但您可以多次使用相同值。Dart支持mapmap文字map类型提供。...例如,你不能在那里放一个if语句,但你可以使用一个条件表达式。 函数可以有两种类型参数:必需可选。首先列出所需参数然后列出任何可选参数。...下面的示例定义一个函数doStuff(),该函数指定列表参数默认listgifts参数默认map。...您还可以创建一个名为匿名函数无名函数,有时也可以创建lambda闭包。 您可以为变量分配一个匿名函数,例如,您可以从集合添加删除它。...一个匿名函数看起来类似于一个命名函数 - 0更多参数括号之间用逗号可选类型标注分隔。

3.3K20
领券