问:用data.table根据其他元素的数量随机挑选行？ - 腾讯云开发者社区

比如本来是针对汽车销售行业构建的模型迁移到快消行业，准确性就有可能下降，为了保证准确性，须要挑选快消行业的训练集进行重训练，那问题来了，这种训练集一般要成千上万条文本评论，人工挑选的话也许会让人筋疲力尽...，用去重的id来计算length，就是代码中的total，每个词的文档数，就是每个词在所有文档的数量，用table来计数，公式中很多要素都跟DF值一样。...其中肯定存在很多问题：训练集的DF、IDF相当于是固定的，然后根据词库匹配，跟测试集合并，那么DF、IDF就不受测试集词语数量的影响了?...也就是一定意义上的稀疏矩阵（同关联规则），也就是将long型数据框转化为wide型数据框。转换可以用的包有reshape2以及data.table。...图6 （2）测试集的随机森林建模测试集建立随机森林模型，还是需要去除缺失值，然后重命名列名，因为模型不接受id这一行作为输入变量，输入的数据集一定要干净。 test <- test[!

1.8K2 0

文本情感分析：特征提取（TFIDF指标）&随机森林模型实现

9.1K5 0

您找到你想要的搜索结果了吗？

是的

没有找到

一行代码搞定分组回归

问题引入很多时候我们需要处理的数据集中会有一个变量用于标记变量所在的组。例如下图中，stkid（我们可以把它想象成股票代码）有五种可能：a, b, c, d, e，每一个字母表示一只股票。...stkid代表分组变量，有a, b, c, d, e五个类别；x和y分别随机生成 dt data.table(stkid = sample(letters[1:5], 100, replace =...其中的原理是，data.table最终的输出必须是一个class为list的元素，符合条件的除了list自己，还包括 data.frame，data.table等。...还是只需要一行，大猫在这里给出答案（重点已经用红笔标出来啦）： result <- dt[, c(reg1 = as.list(coef(lm(y ~ x, .SD))), reg2 = as.list...下期预告下期我们继续探索data.table包的强大功能，大猫教大家如何用一行代码搞定滚动回归！

3.6K4 0

关于data.table中i, j, by都为数字的理解

写在前面本期还是由村长来为大家供稿，这期讲一个村长遇到的关于data.table比较有趣的问题，希望大家支持！！问题：i, j, by同时输入数字会怎样？...以mtcars这个R自带的数据集为例，我们知道mtcars[1]的运行结果，是选择这个数据集的第一行，结果如下： ? mtcars[1,1]的运行结果，是选择第一行第一列的元素，结果如下： ?...问题解析为了弄清楚这个问题，我们根据i, j, by运行的顺序：“先i，再by，最后j”，将i, j, by拆解进行分析。...首先，我们单独看i只有一个1的情况下是什么运行结果，为了让运行出来的代码被认定是data.table的格式，我们在j中加入.SD（不清楚.SD用途的小伙伴可以查看data.table的manual，或者查看笔者上一篇推送用...可见，在DT的i中输入一个数字和用一般的提取符号`[`只输入一个数字的结果完全一样，就是提取这个数据集中的某一行。

1.3K3 0

「R」数据操作（三）：高效的data.table

data.table和data.frame，也就是说data.table继承了data.frame的一些行为，但增强了其他部分。...data.table的基本语法是dt[i, j, by]，简单说就是使用i选择行，用by分组，然后计算j。接下来我们看看data.table继承了什么，增强了什么。...1个参数是行筛选器，第2个则对筛选后的数据进行适当的计算。...下面举例说明，首先创建有1000万行的数据，其中一列是索引列id，其他两列是随机数： n = 10000000 test1 = data.frame(id = 1:n, x = rnorm(n), y...- test1[.(876543)]) #> 用户系统流逝 #> 0.001 0.000 0.000 结果一致，但data.table用的时间要少得多。

6.4K2 0

谁是PythonRJulia数据处理工具库中的最强武器？

Python/R/Julia中的数据处理工具多如牛毛「如pandas、spark、DataFrames.jl、polars、dask、dplyr、data.table、datatable等等」，如何根据项目需求挑选趁手的武器...7种Python工具 dask pandas datatable cuDF Polars Arrow Modin 2种R工具 data.table dplyr 1种Julia工具...，数据量 0.5GB 数据 10,000,000,000行、9列 5GB 数据 100,000,000,000行、9列 50GB 数据1,000,000,000,000行、9列 groupby性能比较以下各种需求的效率...，详细代码，见每个柱子图上方， join性能比较以下各种需求的效率，详细代码，见每个柱子图上方， ---- 评估结果 groupby 可以看到Python中的Polars、R中的data.table...join 同样可以看到Python中的Polars、R中的data.table在join时表现不俗，详细， 0.5GB数据 join 5GB数据 join 50GB数据 join 小结 R中的data.table

1.8K4 0

动规解决01背包完全背包精讲

用动态规划解决问题有下面的标准步骤： 1、状态表示： dp[i][j] 表示从前i个物品中挑选，总体积不超过j，所有选法中能挑选出的最大价值。有同学会问，状态表示为什么是这样的呢？...只需要考虑行的初始化。在第0行，表示在前0个物品中，总体积为j所表示的总价值，不存在，所以可以直接初始化为0。 4、填表顺序根据状态转移方程可知，由上到下，由左到右。...但是后面的值就不存在，在前0个物品中，挑选出体积正好为1、2、3……这些情况都不存在，所以赋值为-1 4、填表顺序从上往下 5、返回值 dp[n][V] 空间优化： 1、利用滚动数组在空间上的优化我们可以直接用一维...2、状态转移方程 01背包和完全背包的本质区别就是能选择数量不一样，01背包数量只有1个，而完全背包可选择物品数量有无限多个。因此状态转移方程根据可选择物品数量分为很多种。...3、初始化只需要初始化第一行初始化为0即可 4、填表顺序根据状态转移方程，从上往下填写每一行，每一行从左往右 5、返回值 dp[n][V] 我们继续解决第二问，背包必须装满的情况下。

1161 0

【建议收藏】Redis知识干货汇总

数组可以包含多个元素，每个元素都包含一个指向其他节点的指针，程序可以通过这些层来加快访问其他节点的速度，一般来说，层的数量越多，访问其他节点的速度就越快。...每次创建一个新跳跃表节点的时候，程序根据幂次定律(power law，越大的数出现的概率越小)随机生成一个介于1和32之间的值作为level数组的大小，这个大小就是层的“高度”。...poll poll 的机制与 select 类似，与 select 在本质上没有多大差别，管理多个描述符也是进行轮询，根据描述符的状态进行处理，只是 poll 没有最大文件描述符数量的限制。...其中activeExpireCycle()对每个Expires[*]逐一检测，每次执行时间为250ms/server.hz 对某个Expires[*]检测时，随机挑选几个key检测规则如下：如果key...volatile-random：任意选择数据淘汰 volatile-ttl：挑选即将过期的数据淘汰问：有遇到redis大key的问题吗？

6482 0

R练习50题 - 第二期

每天涨幅超过5%、跌幅超过5%的股票各有多少？我们已经把所有50题的答案都上传到了我们的Github主页，但是校对及代码解析只写到了第十题。...习题 3 每天每个交易所上涨、下跌的股票各有多少？分析：这题和Ex-2非常类似，唯一的不同就是分组变量多了一个：对于每个交易日，我们不仅需要根据涨跌updown分组，还要根据交易所分组。...练习 4 沪深300成分股中，每天上涨、下跌的股票各有多少？分析：本题仍旧是Ex-2的拓展，只不过要求我们进行行选择操作。在data.table的dt[i,j,by]语法中，i代表行选择操作。...data.table只会选择为True的那些元素。在data.table的dt[i, j, by]语法中，先执行行选择操作i, 再执行分组操作by, 最后执行列操作j。...注意以上运算的结果是一个取值为True或False的向量，data.table最终会挑选出为True的那些行。我们仍旧使用ifelse函数生成updown这个变量。

8882 0

滚动回归中调用多核CPU

问题提出前几期的大猫课堂中大猫教了大家“10行代码搞定滚动回归”，在那一期的最后大猫说文章中给出的是目前大猫看到的最快的实现方法，“如果有发现更快方法的小伙伴一定要联系大猫”，emmmm……现在看来大猫不得不自己寻找更快的方法了...问题分析原先的程序其实是非常memory efficient的，内存占用不多，关键问题是提高CPU的使用率，最直接的办法就是充分发挥多核CPU的性能。...众所周知，绝大多数数据清洗任务都只能单线程运行，不论是R的data.table包还是SAS的data步都是如此，唯一存在提高空间的就是多次重复的回归拟合进行并行计算。...# 设置随机数种子 set.seed(42) # 生成样例数据集，一共有a,b,c,d,e五个group，每个group都有1000日的观测，共5000行观测 dt data.table(id =...载入并设置doParalle 为了能够调用多核，我们需要首先根据CPU的核心数来进行设置，下面是大猫在自己4核8线程CPU上的设置代码。

1.5K2 0

R︱高效数据操作——data.table包（实战心得、dplyr对比、key灵活用法、数据合并）

data.table包的语法简洁，并且只需一行代码就可以完成很多事情。进一步地，data.table在某些情况下执行效率更高。...2、按条件行筛选从前用subset的方式进行筛选比较多， new=14,select=a:f) （1）单变量现在data.table与dplyr from_dplyr =...—————————————————————————————————————————————— 六、额外的参数（来源：R语言data.table速查手册） 1、mult参数 mult参数是用来控制i匹配到的哪一行的返回结果默认情况下会返回该分组的所有元素...，他包含了各个分组，除了by中的变量的所有元素。....在data.table行操作跟data.frame很像，可以data[1,]就可以获得第一行的数据，同时也可以用，data[1]来获得行信息，这个是data.table特有的。

9.3K4 3

懒癌必备-dplyr和data.table让你的数据分析事半功倍

条数据 sample_frac(df,0.7) 随机抽取70%的数据看了以上这几个函数，是不是觉得dplyr包超简单！...data.table包 dplyr已经可以满足我们数据分析工作中大部分的需求，后来该包的作者又开发了一个炫酷吊炸天的包“data.table” 如果你的日常处理数据在几万到十几万行，那么用dplyr...如果你的日常处理数据量非常大，有上亿行的数据处理需求，这个时候你完全可以放心大胆的使用data.table 这个包异常的高效，速度非常的快！！...使用i DT[3：5] #选取3到5行的数据 class(DT) [1] "data.table" "data.frame" DT[v1=="A"] #基于条件的选择 DT[v1 %in% c("A",...data.table把我们刚刚用group_by和summarise组合才能实现的功能，直接在一句代码里面就实现了，而且代码的可读性和可扩展运用性非常强！

2.5K7 0

两个不同数据集：同一课题组同样的实验设计差异分析结果一致性却很差是为什么呢？

', getGPL = T) a <- gset[[1]] ## 2.样本分组:挑选一些感兴趣的临床表型。...dat[1:4,1:4] # 查看dat这个矩阵的1至4行和1至4列，逗号前为行，逗号后为列 ## ～～～查看数据是否需要log～～～ range(dat) # log2转换 dat 其他的基本上都相同，我们来问问人工智能大模型看看能不能给我们一个合理的答案：问：两个GEO芯片数据除了芯片平台不一致，实验设计一模一样，但是差异分析结果一致性却很差，可能的原因是什么呢...样本数量和质量样本数量较少时，数据的统计力不足，可能导致差异分析结果的不一致。此外，样本质量的差异（如RNA完整性、样本保存条件等）也会影响基因表达水平的测量结果。 5....统一数据预处理和标准化：确保所有数据在分析前经过相同的预处理和标准化步骤，以减少数据变异。选择合适的分析方法和参数：根据数据特点选择合适的差异分析方法，并合理设置分析参数。

741 0

这种作者只提供了每组多个重复样本合并后数据的怎么办

，问：有4个分组为三个时间节点 + 一个对照的高通量RNA测序数据，每个分组有5个生物学重复样本，但是测序的时候呢同一个组别中的这五个样本的 RNA 进行了 pool，然后再测序。...F)#不以因子变量读取 options(scipen = 20)#不以科学计数法显示 library(data.table) library(tinyarray) library(GEOquery)...= F) head(tmp) gid data.table = F)[,2] head(gid) # 批量读取并按照列合并 rpkm <- do.call(cbind...rpkm <- rpkm[,c(2,grep("Sample",colnames(rpkm)))] rownames(rpkm) <- rpkm[,1] rpkm 行...', getGPL = F) a <- gset[[1]] a ## 2.样本分组 ## 根据生物学背景及研究目的人为分组 ## 挑选一些感兴趣的临床表型。

511 0

10行代码搞定【滚动回归】

如果数据一共有N天，那么就会得到N - n个数据点这就是滚动回归，一个非常容易理解而且在研究中常常遇见，然而实现起来却不是那么容易的问题。在今天的大猫课堂中，大猫教大家用10行代码搞定它！...问题引入假设我们现在有N天的数据，我们希望对于每一天t，用n作为窗口期，在[t - n, t]的窗口中进行数据回归。显然，最终的数据会有N-n天。...构造样例数据集代码如下： # 设置随机数种子 set.seed(42) # 生成样例数据集，一共有a,b,c,d,e五个group，每个group都有1000日的观测 dt data.table(...，需要用到data.table包！...但是，这个滚动回归的代码也不是完美的，最大的劣势就在于我们的滚动窗口是用“期”而不是用“天”来定义的，也就是说，程序在每次滚动的时候都会固定找前面n期的观测，而不管这n期之间可能间隔的是10天，20天还是一个月

2.2K2 0

3种缺失值情况需要区别对待

如果你的表达矩阵里面的基因数量超级过，部分基因缺失问题可以把整个基因都删除，但是如果基因缺失比例很大，这个时候强行删除就会带来偏差啦！...首先需要去上游（数据如何产生的）弄清楚缺失值的来源，然后要理解不同形式的缺失值，如下：完全随机缺失（MCAR，Missing Completely At Random），指的是数据的缺失不依赖于自身或者其他变量...随机缺失（MAR，Missing At Random），指的是数据的缺失不是完全随机的，该类数据的缺失依赖于其他观测变量。...最常用的是用impute包的imput.knn函数比如甲基化数据分析教程，一个甲基化芯片信号值矩阵差异分析的标准代码，是就使用了它： require(GEOquery) require(Biobase...= 0.8，意思是该列缺失值超过80%就报错所以对我们的表达矩阵来说，一定要是列是样本，行是基因哦！

1.1K2 1

热图到底是横向基因层面归一化还是依据纵向的样品呢？

(scipen = 20)#不以科学计数法显示 library(data.table) datadata.table::fread("GSE200226_CountTable_BMDC.csv.gz...] rownames(symbol_matrix)=rownames(mat)[keep_feature] dat=log(edgeR::cpm(symbol_matrix)+1) 然后简单的根据这个表达量矩阵的基因的...SD值排序后挑选里面的排名靠前的1000个基因后绘制如下所示的热图： SD值排序后挑选里面的排名靠前的1000个基因很明显的可以看到这个表达量矩阵里面BET蛋白抑制剂iBET处理造成的表达量变化是最大的...上面的热图代码是： dat[1:4,1:4] cg=names(tail(sort(apply(dat,1,sd)),1000))#apply按行（'1'是按行取，'2'是按列取）取每一行的方差，从小到大排序...，取最大的1000个 library(pheatmap) pheatmap(dat[cg,],show_colnames =F,show_rownames = F) #对那些提取出来的1000个基因所在的每一行取出

701 0

【进阶】Next N rows when condition is TRUE

问题引入本期的问题来自于stackoverflow.com，由于大猫实在想不出简洁的翻译，想来想去还是原标题最能描述问题，所以干脆直接借用。...例如，在以上数据集第4行的condition是1，那么我们能够标记出第5行以及第6行。又由于第6行的分组从a变成了b，所以只有第5行被标记了出来。...# a是分组变量； dt data.table(a = rep(c("a", "b", "c"), each = 5)) # condition是条件；desireOutcome是希望获得的结果...dt[, condition := as.numeric(.I %% 4 == 0)] 本文需要用到data.table包！...于是很自然的，如果我们能将这三个向量相加，那么所有符合要求的行就都是1，不符合的就都是0了。关键问题在于如果给我们一个list，使用什么方法能够把list的每个元素“一一对应”地加总呢？

5541 0

在什么情况下基因ID转换会100%失败？

而且也是有对应的基因的：还是用gtf文件来转转看看下载gtf：https://ftp.ensembl.org/pub/release-113/gtf/mus_musculus/Mus_musculus.GRCm39.113...gtf) str(gtf) head(gtf) # 转为数据框，简单探索 gtf_df <- as.data.frame(gtf) colnames(gtf_df) # 过滤transcript行...symbol了，不管是基因symbol还是转录本symbol，后面做转录本层面的功能富集分析也好用：关于est_counts是不是count值问一下：Kallisto 定量出来的count带有小数吗...根据搜索结果，Kallisto的定量结果输出文件中，abundance.tsv 文件包含了每个基因的表达量，其中 est_counts 列表示估计的counts，这个值通常是整数，表示映射到特定转录本的...reads数量。

701 0

RNA-seq入门实战（三）：在R里面整理表达量counts矩阵

大家开始根据我的ngs组学视频进行一系列公共数据集分析实战，其中几个小伙伴让我非常惊喜，不需要怎么沟通和指导，就默默的完成了一个实战！...counts与TPM矩阵: 用tximport包读取quant.sf构建counts与TPM矩阵；样品的重命名和分组；初步过滤低表达基因与保存counts数据承接上节RNA-seq入门实战（二）：上游数据的比对计数...在这里展示筛选出至少在重复样本数量内的表达量counts大于1的行（基因），可以看到超过一半以上的基因都被筛掉了。...筛选出至少在重复样本数量内的表达量counts大于1的行（基因） keep_feature 1) >= 2 table(keep_feature) #查看筛选情况，...其他步骤与操作featureCounts输出文件类似。

20.3K5 6

点击加载更多

扫码

添加站长进交流群

领取专属 10元无门槛券

手把手带您无忧上云

R语言︱情感分析—基于监督算法R语言实现（二）

文本情感分析：特征提取（TFIDF指标）&随机森林模型实现

一行代码搞定分组回归

关于data.table中i, j, by都为数字的理解

「R」数据操作（三）：高效的data.table

谁是PythonRJulia数据处理工具库中的最强武器？

动规解决01背包完全背包精讲

【建议收藏】Redis知识干货汇总

R练习50题 - 第二期

滚动回归中调用多核CPU

R︱高效数据操作——data.table包（实战心得、dplyr对比、key灵活用法、数据合并）

懒癌必备-dplyr和data.table让你的数据分析事半功倍

两个不同数据集：同一课题组同样的实验设计差异分析结果一致性却很差是为什么呢？

这种作者只提供了每组多个重复样本合并后数据的怎么办

10行代码搞定【滚动回归】

3种缺失值情况需要区别对待

热图到底是横向基因层面归一化还是依据纵向的样品呢？

【进阶】Next N rows when condition is TRUE

在什么情况下基因ID转换会100%失败？

RNA-seq入门实战（三）：在R里面整理表达量counts矩阵

扫码

相关资讯

热门标签

活动推荐

运营活动

社区

活动

资源

关于

腾讯云开发者

热门产品

热门推荐

更多推荐