在没有并行提示和批量收集的情况下删除数百万条记录

文章/答案/技术大牛

发布

3回答

sql、database、oracle、plsql

我有一个表PROD_MAIN，它在一个数据库上有7.5亿条记录。数据库基础架构非常基础，没有任何RAC。它只是一个数据库。要求删除超过1年的记录。我编写了一个带有并行提示和批量收集的PL SQL代码。它需要很长的时间来执行。请找到下面的代码。我创建了索引并进行了统计数据收集，但性能并没有提高。那么，有没有其他方法可以让我

浏览 28提问于2016-08-13得票数 2

回答已采纳

1回答

非守护程序线程中的并行流

java、java-8、java-stream

如果我在非守护线程中使用java 8并行流，会怎么样？它会正确地运行吗。目前我正在使用for循环，有数百万条记录要发送到数据库。我正在使用单独线程的批量插入，但它的性能仍然不够。在这种情况下可以使用并行流吗？

浏览 18提问于2019-11-22得票数 3

回答已采纳

2回答

从Geomesa中快速移除要素

accumulo、geomesa

我必须尽快从Geomesa数据存储中删除大量的功能(大约1亿条记录)。TIMING_FIELD + " > 0)"; Filter filter = CQL.toFilter(cql); featureStore.removeFeatures(filter)谢谢!

浏览 1提问于2017-11-04得票数 1

1回答

SharePoint 2013年导出和大容量删除文档/列表

sharepoint、sharepoint-2010、sharepoint-2013、sharepoint-2007、sharepoint-online

有没有人知道如何从SharePoint 2013年文档列表中进行批量删除？我需要立刻删除近一百万条记录。从列表中使用delete选项本身非常耗时，一次只能删除前100条记录。打扫卫生真的很忙。对于文档库，在资源管理器视图中打开它比较容易，然后可以选择no。如果您已经设置了一个视图，则只能删除前100个文件，然后继续下去，直到该视图下的所有文件都被删除为止。有更简单的</em

浏览 3提问于2017-11-28得票数 0

1回答

基于Java和Spring的并行处理

java、spring、executorservice

我有一个场景，我的Spring批处理作业每3分钟运行一次。每个用户的记录应该并行执行。每个用户最多可以拥有150 K的记录。每个用户都可以拥有更新和删除记录。更新记录应该在delete.Update/delete集单独并行运行之前运行。但严格地说，所有更新都应该在删除.之前完成。是否有人建议在多个级别上实现并行性的最佳方

浏览 0提问于2021-02-12得票数 0

1回答

Cloud Firestore -并行单个写入与并行批量写入

firebase、google-cloud-firestore、google-cloud-dataflow

有没有人比较过并行单个写入和并行批量写入与Firestore之间的性能？我每天都在尝试使用数据流导入作业将数据写入Firestore，并且能够在10分钟内写入大约250万条记录。目前，写入是以批处理模式完成的，批处理大小为400。只是好奇单个写入是否可以提供比批量写入更高的性能？

浏览 19提问于2021-04-16得票数 0

2回答

在ASP.NET MVC视图中如何处理IQueryables？

mysql、linq-to-sql、asp.net-mvc-3、mvccontrib-grid

我在MySQL数据库中有一些表来表示来自传感器的记录。我正在开发的系统的一个功能是将数据库中的记录显示给web用户，所以我使用ADO.NET实体数据模型创建了一个ORM，使用Linq to SQL从数据库中获取数据，并将它们存储在我设计的ViewModelt.TrendSignalSetting.Unit return projectedTrendRecords;我调用GetTrendsProjectedM

浏览 3提问于2011-07-08得票数 0

回答已采纳

2回答

一个sql事务中可以有多少个插入

sql-server-2005

我关心的是需要在此事务中插入的数据量，以及这是否会对服务器产生负面影响。我们在table1中查看了大约10,000条记录，在table2中查看了60,0000条记录。在单个事务中执行此操作是否安全？

浏览 1提问于2010-05-28得票数 1

1回答

HBase批量获取记录

apache、hbase

我是Apache HBase的新手。我正试图从hbase批量获取数百万条记录。使用"startrow“和"endrow”没有帮助，因为它们只在一个区域服务器中查找数据。我们需要从所有地域服务器批量获取所有数据。我们正在尝试使用带有二进制比较器的"rowfilter“和"setlimit”，但没有成功。有人能帮我们解决这个问题吗？谢谢。

浏览 0提问于2018-09-19得票数 1

4回答

Oracle multi insert语句

oracle、query-hints

在我的应用程序中，我必须添加许多记录。SELECT 1 FROM DUAL; 我还使用了追加和并行提示。请注意，我在两个不同的表中插入数据。似乎并行被忽略了( DBA告诉我)。那么我如何知道它是否正在被使用呢？在这样的构造中可以使用并行提示吗？它有效吗？

浏览 7提问于2011-05-18得票数 6

回答已采纳

1回答

基于其他表的列对多列进行大容量更新

sql、oracle、plsql

我正在尝试在Oracle中进行批量更新。该操作涉及根据另一个table.The场景中的列值更新目标表中的数百万条记录，如下所示。_col1 t1_col2 t1_col3 t1_col4 t1_col5t2_col1 t2_col2 t2_col3 t2_col4 t2_col5 t2_col6 t2_col3 = sysdateand t2_co

浏览 2提问于2020-12-15得票数 0

1回答

Oracle备用数据库技术用于更快地应用重做日志

oracle

我对Oracle中的备用数据库概念非常陌生，我不是真正的DBA，所以请帮助我。在维护过程中，将从几个表中删除数百万条记录(通常是最古老的记录)，这些表的记录从数千万到数亿不等。通常，使用单个de

浏览 0提问于2014-03-04得票数 3

回答已采纳

1回答

使用大型插入和删除的繁忙表上的优化器统计

database、oracle、oracle19c

环境: Oracle数据库19C 我的问题是:是否应该在表上的</em

浏览 1提问于2020-05-22得票数 2

1回答

使用mongoimport时mongodb中的文档格式化

mongodb

我想获得以下格式的文档，同时使用mongoimport将csv文件中的数百万条记录导入mongodb，需要使用哪个命令才能获得这种格式。请使用help.Thanks。

浏览 0提问于2014-01-09得票数 0

2回答

C#缓存大数据表的位置

c#、.net、angularjs、oracle、asp.net-web-api

我必须执行一个长期运行的PL/SQL查询，并且需要将结果集存储在某个地方，并服务于UI请求。一段时间后，需要自动/手动刷新它。需要以相同的方式处理多个结果集。每个结果集都将有数百万条记录。我的项目是在Web中使用AngularJS。我在Oracle中使用ADO.net，而不是实体框架。据我所知，.net MemoryCache不适合，因为no.of结果集和大小将继续增长。你还有其他的</

浏览 1提问于2016-10-04得票数 1

回答已采纳

1回答

在SQL server中更新索引列的性能影响

sql-server、sql-server-2008、sql-server-2008-r2

我试图理解，如果我试图更新一个列，它是server 2008中非聚集索引的关键列，是否会对性能产生任何影响？代表e，gUPDATE TestTable SET IsActive= 1 WHERE IsActive = 0 我需要理解这是表现更好还是没有索引就会更好当索引值被更新时，我要求他的as重新索引。因此，这种重新索引会对查询

浏览 0提问于2013-09-25得票数 2

1回答

使用toad在oracle数据库中进行大容量删除

oracle、sql-insert、bulkinsert

我有一个包含超过2400万条日志记录的表，现在我们正在努力减少这个数字。由于公司政策，我们不允许进行截断、移动或任何类似的操作。记录必须一下子从该表中删除，大约2300万行。我在批量删除方面没有太多经验。但我想知道是否有一种方法可以在不执行常规delete的情况下做到这一点(即使在表和where子句上有多个索引时也会超时)。我认为批量</

浏览 2提问于2021-05-02得票数 0

1回答

ORACLE DB 24小时记录计数

oracle

在oracle dB中，有没有一种方法可以查看一个表中有多少记录在模式中被插入、更新和删除？现在我正在使用USER_TAB_MODIFICATIONS，我遇到了一个问题，如果我想得到每天的计数，那么我必须每天收集表上的统计数据，这是我想要避免的，因为我的很多表都有数百万条记录，收集统计数据将需要很多时间来运行有没有人能给我一个正确的</e

浏览 1提问于2019-02-26得票数 0

1回答

批处理请求和并发处理

node.js、rxjs

我在NodeJS中有一个服务，它从数据库中获取用户详细信息，并通过http发送到另一个应用程序。可能有数百万条用户记录，因此处理1/1的速度非常慢。但在处理数百万条用户记录时会出现问题，从数据库中获取这些记录的速度非常慢，因为结果集的大小也会达到GB(也会占用更多的内存)。我正在寻找一种解决方案，以获得从数据库中批量用户记录，同时保持<

浏览 31提问于2021-11-11得票数 0

3回答

删除mysql中存在重复列值的数百万条记录

php、mysql

要删除数百万条具有重复列值的记录，如果发现重复，则两行都将被删除。Delete from TABLE where column in(1,2,3,4,6,9) 但是上面的查询不适合我这里的情况，因为我在in子句中有一个很长的</

浏览 0提问于2015-09-18得票数 1

点击加载更多