腾讯云

文章/答案/技术大牛

发布

社区首页 >问答首页 >r:管理循环中的内存分配

问r:管理循环中的内存分配
EN

Stack Overflow用户

提问于 2017-05-11 11:19:38

回答 2查看 1.3K关注 0票数 0

首先，这个问题不是关于

错误:无法分配大小为n的向量

我将此错误视为给定的错误，并试图避免代码中的错误。

我有一个3000+变量数据集和120000个案例
所有列都是数字列。
我需要用零重置NA
如果将整个数据集的值重新分配到0，则会得到内存分配错误。
因此，我将这些值一次重新分配到0列： resetNA <-函数(结果){用于(i in 1:ncol(结果)){ if(i>10) {结果，iis.na(结果，i)] <- 0}打印(头(结果))}}

在大约1000列之后，我仍然会得到内存分配错误。

现在，这对我来说很奇怪。不知怎的，内存分配在每个循环之后都在增加。然而，我不明白为什么会这样。

另外，我尝试在每个循环之后调用垃圾收集函数，我仍然得到内存分配错误。

有人能向我解释如何管理变量以避免内存分配的增量增加(毕竟，数据帧大小没有改变)。

回答 2

Stack Overflow用户

回答已采纳

发布于 2017-05-11 15:20:17

正如在上面的注释中指出的，答案是这里：在大型data.table中替换NAs的最快方法

我试过了，效果很好

票数 0

Stack Overflow用户

发布于 2017-06-18 15:51:59

我学到了关于r内存使用的一个重要的一般原则。

看这个讨论。

在任何可能的情况下，避免通过数据文件循环。用伊洛普。这会将dataframe转换为列表，然后运行列表上的相关函数。然后返回一个列表。将列表转换回数据格式。

下面的示例将数字频率重新编码为一个分类变量。它速度快，不会增加内存使用量。

    list1<-lapply(mybigdataframe,function(x) ifelse( x>0,"Yes","No"))
    newdf1<-as.data.frame(list1)

票数 0

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/43923935

复制

Linux 删除文本中的重复行

shell

这里我做了个简单的测试，当file中的重复行不再一起的时候，uniq将服务删除所有的重复行。经过排序后，所有相同的行都在相邻，因此unqi可以正常删除重复行。

阳光岛主

2019/02/19

8.7K0

【Oracle笔记】数据表中删除重复记录的SQL

oracle 数据库 sql

ROWID是ORACLE中的一个重要的概念。用于定位数据库中一条记录的一个相对唯一地址值。通常情况下，该值在该行数据插入到数据库表时即被确定且唯一。 ROWID它是一个伪列，它并不实际存在于表中。它是ORACLE在读取表中数据行时，根据每一行数据的物理地址信息编码而成的一个伪列。所以根据一行数据的ROWID能找到一行数据的物理地址信息。从而快速地定位到数据行。数据库的大多数操作都是通过ROWID来完成的，而且使用ROWID来进行单记录定位速度是最快的。

程序员云帆哥

2022/05/12

2.8K0

SQL:删除表中重复的记录

sql

--创建测试表 if object_id('test') is not null drop table test create table test ( id int identity(1,1) primary key, name varchar(50) ) --插入几条测试数据 insert into test select 'a' union all select 'a' union all select 'a' union all select 'a' union all select 'a

用户8983410

2021/11/02

4.8K0

oracle中如何删除重复数据

oracle 大数据数据库

我们可能会出现这种情况，某个表原来设计不周全，导致表里面的数据数据重复，那么，如何对重复的数据进行删除呢？重复的数据可能有这样两种情况，第一种时表中只有某些字段一样，第二种是两行记录完全一样。一、对于部分字段重复数据的删除先来谈谈如何查询重复的数据吧。下面语句可以查询出那些数据是重复的： select 字段1,字段2,count(*) from 表名 group by 字段1,字段2 having count(*) > 1 将上面的>号改为=号就可以查询出没有重复的数据了。想要删除这些重复的数据，可以使用下面语句进行删除 delete from 表名 a where 字段1,字段2 in (select 字段1,字段2,count(*) from 表名 group by 字段1,字段2 having count(*) > 1) 上面的语句非常简单，就是将查询到的数据删除掉。不过这种删除执行的效率非常低，对于大数据量来说，可能会将数据库吊死。所以我建议先将查询到的重复的数据插入到一个临时表中，然后对进行删除，这样，执行删除的时候就不用再进行一次查询了。如下： CREATE TABLE 临时表 AS (select 字段1,字段2,count(*) from 表名 group by 字段1,字段2 having count(*) > 1) 上面这句话就是建立了临时表，并将查询到的数据插入其中。下面就可以进行这样的删除操作了： delete from 表名 a where 字段1,字段2 in (select 字段1，字段2 from 临时表); 这种先建临时表再进行删除的操作要比直接用一条语句进行删除要高效得多。这个时候，大家可能会跳出来说，什么？你叫我们执行这种语句，那不是把所有重复的全都删除吗？而我们想保留重复数据中最新的一条记录啊！大家不要急，下面我就讲一下如何进行这种操作。在oracle中，有个隐藏了自动rowid，里面给每条记录一个唯一的rowid，我们如果想保留最新的一条记录，我们就可以利用这个字段，保留重复数据中rowid最大的一条记录就可以了。下面是查询重复数据的一个例子： select a.rowid,a.* from 表名 a where a.rowid != ( select max(b.rowid) from 表名 b where a.字段1 = b.字段1 and a.字段2 = b.字段2 ) 下面我就来讲解一下，上面括号中的语句是查询出重复数据中rowid最大的一条记录。而外面就是查询出除了rowid最大之外的其他重复的数据了。由此，我们要删除重复数据，只保留最新的一条数据，就可以这样写了： delete from 表名 a where a.rowid != ( select max(b.rowid) from 表名 b where a.字段1 = b.字段1 and a.字段2 = b.字段2 ) 随便说一下，上面语句的执行效率是很低的，可以考虑建立临时表，讲需要判断重复的字段、rowid插入临时表中，然后删除的时候在进行比较。 create table 临时表 as select a.字段1,a.字段2,MAX(a.ROWID) dataid from 正式表 a GROUP BY a.字段1,a.字段2; delete from 表名 a where a.rowid != ( select b.dataid from 临时表 b where a.字段1 = b.字段1 and a.字段2 = b.字段2 ); commit; 二、对于完全重复记录的删除对于表中两行记录完全一样的情况，可以用下面语句获取到去掉重复数据后的记录： select distinct * from 表名可以将查询的记录放到临时表中，然后再将原来的表记录删除，最后将临时表的数据导回原来的表中。如下： CREATE TABLE 临时表 AS (select distinct * from 表名); truncate table 正式表; --注：原先由于笔误写成了drop table 正式表;，现在已经改正过来 insert into 正式表 (select * from 临时表); drop table 临时表;

源哥

2018/08/28

2.4K0

Linux删除重复行

unix linux

第一，用sort+uniq，注意，单纯uniq是不行的。 sort -n test.txt | uniq

阳光岛主

2019/02/19

11.7K0

MySQL | 查找删除重复行

sql

本文讲述如何查找数据库里重复的行。这是初学者十分普遍遇到的问题。方法也很简单。这个问题还可以有其他演变，例如，如何查找“两字段重复的行”（#mysql IRC 频道问到的问题）

逍遥子大表哥

2021/12/17

5.8K0

如何用 awk 删除文件中的重复行【Programming】

linux unix 编程算法

了解如何在不排序或更改其顺序的情况下使用awk'!visited $ 0 ++'。

Potato

2019/11/09

8.8K0

如何删除相邻连续的重复行？

sql lag null partition row

根据题意的要求，把要求的结果在原表上用黄色标出，通过观察发现连续登录的某一个页面只保留第一次访问的记录。解题思路是要通过查询，利用信息差过滤掉同一个页面第一次登录后的连续访问记录。

猴子数据分析

2022/07/13

4.6K0

Word VBA技术：删除表格中内容相同的重复行

vba

上面的代码区分大小写，即第一列中内容相同但大小写不同不会被删除。下面的代码操作时不区分大小写：

fanjy

2023/02/24

4.5K0

使用VBA删除工作表多列中的重复行

vba

自Excel 2010发布以来，已经具备删除工作表中重复行的功能，如下图1所示，即功能区“数据”选项卡“数据工具——删除重复值”。

fanjy

2022/11/16

11.5K0

MySQL 如何查找删除重复行？

自动驾驶其他

第一步是定义什么样的行才是重复行。多数情况下很简单：它们某一列具有相同的值。本文采用这一定义，或许你对“重复”的定义比这复杂，你需要对sql做些修改。本文要用到的数据样本：

Bug开发工程师

2020/03/12

6.6K0

MySQL 如何查找删除重复行？

其他

芋道源码

2019/10/22

5.6K0

sql删除重复记录

count having min select title

where peopleId in (select peopleId from people group by peopleId having count(peopleId) > 1)

王念博客

2019/07/24

2.2K0

【DB笔试面试469】Oracle中如何删除表中重复的记录？

数据库 sql oracle http

平时工作中可能会遇到这种情况，当试图对表中的某一列或几列创建唯一索引时，系统提示ORA-01452 ：不能创建唯一索引，发现重复记录。这个时候只能创建普通索引或者删除重复记录后再创建唯一索引。

AiDBA宝典

2019/09/30

2.8K0

sql去掉重复的行_select去掉重复记录

https 网络安全

如果是这种情况的话用distinct是过滤不了的，这就要用到主键id的唯一性特点及group by分组

全栈程序员站长

2022/11/11

2.9K0

删除SQL数据库表中的重复记录

数据库 sql count having select

在n条记录里,存在着些相同的记录,如何能用SQL语句,删除掉重复并保留一条呢？方法如下：

学派客

2023/04/07

4.3K0

Linux实用技巧——删除重复行

linux unix

0. 前言对于删除文件中的重复行，比如处理如下文件 [root@mobius ~]$cat file_test.txt aaa bbbbb ccccc 123 aaaaa 123 bbb aaa 需要得到的删除为： 123 aaa aaaaa bbb bbbbb ccccc 下面给出四种方法 1. sort -u方法有关 sort 命令操作见Linux 工作常用命令笔记-sort排序解决方案如下： [root@mobius ~]$sort -u file_test.txt 123 aaa aaaaa

莫斯

2020/09/10

2.8K0

VBA：基于指定列删除重复行

vba https 网络安全

文章背景：在工作生活中，有时需要进行删除重复行的操作。比如样品测试时，难免存在复测数据，一般需要保留最后测试的数据。之前通过拷贝行的方式保留最后一行的数据（参见文末的延伸阅读1），但运行效率较低。目前通过借助数组和字典达到删除重复行的效果。

Exploring

2022/12/18

3.4K0

VBA：根据指定列删除重复行

vba http python

文章背景：在工作生活中，有时需要进行删除重复行的操作。比如样品测试时，难免存在复测数据，一般需要删除第一行数据，保留后一行的数据。

Exploring

2022/09/20

3.2K0

点击加载更多

相似问题

删除Oracle SQL中重复的行

Oracle SQL :如何删除重复行

删除R中的半重复行

删除R中的“半重复”行

sql联合删除“半重复”。

添加站长进交流群

领取专属 10元无门槛券

AI混元助手 在线答疑

关注 腾讯云开发者公众号

洞察 腾讯核心技术

剖析业界实践案例

问r:管理循环中的内存分配
EN

回答 2

Stack Overflow用户

Stack Overflow用户

删除Oracle SQL中重复的行

Oracle SQL :如何删除重复行

删除R中的半重复行

删除R中的“半重复”行

sql联合删除“半重复”。

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问r:管理循环中的内存分配EN

回答 2

Stack Overflow用户

Stack Overflow用户

删除Oracle SQL中重复的行

Oracle SQL :如何删除重复行

删除R中的半重复行

删除R中的“半重复”行

sql联合删除“半重复”。

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问r:管理循环中的内存分配
EN