优化现有MySQL数据大容量更新的性能

文章/答案/技术大牛

发布

1回答

mysql、sql、matlab、performance、sql-update

我正在尝试对大约200,000个现有MySQL行执行批量更新。更具体地说，我需要更新这些行中的8个空LONG BLOB字段，每个字段都有一个~0.5Mb的文件(使用LONG BLOB是因为在某些特殊情况下存储了非常大的文件；但是，在此批量更新中不考虑这些情况)。需要插入的文件存储在本地磁盘上。我使用编写的MATLAB脚本遍历存储这些文件的每个文件夹，读取其中的文

浏览 23提问于2017-08-16得票数 1

1回答

在插入时禁用MySQL统计信息

mysql、sql、database

如何在大容量插入时禁用索引的MySQL更新统计信息？我正在尝试测试在不更新统计信息的情况下执行大容量插入之前和之后使用索引的SELECT语句的性能下降情况。

浏览 0提问于2014-10-30得票数 1

2回答

实体框架4.0批量操作的性能

c#、sql、entity-framework-4

我目前正在改进使用实体框架(并且有4.0版本)的现有c#项目的性能。在应用程序中有两种类型的大容量操作：由于我对C#非常陌生，我的第一步是看看如果我使用实体框架进行更新和删除，性能会如何。我<

浏览 1提问于2012-11-10得票数 1

回答已采纳

2回答

轻量级内存数据库

ruby-on-rails、sqlite、query-optimization

我们需要创建一个临时内存数据库，然后执行各种插入/选择/更新。end那么，还有其他基于SQL的轻量级内存

浏览 5提问于2013-01-24得票数 0

回答已采纳

2回答

使用MySQL插入多次还是1次大查询？

php、mysql、sql

我有机会以两种方式插入大量数据(大约每5分钟30行)：( B)使用PHP并通过为每个总线追加SQL字符串构建一个大查询

浏览 13提问于2014-01-12得票数 0

回答已采纳

2回答

快速检查SQL数据库中是否存在条目

sql、mysql、query-optimization

挑剔的问题：现在使用mysql，但应该是相当基础的...那么我是否应该使用或或者是一些完全不同的东西最简单的事情就是执行几次循环并对其进行测试，但我的测试没有帮助。(我的测试系统似乎也被使

浏览 5提问于2009-10-28得票数 2

3回答

为什么批量导入比一堆插入更快？

sql、sql-server、performance、sql-insert、bulkinsert

我正在写我的研究生工作，内容是关于从文件导入数据到SQL Server表的方法。我已经创建了自己的程序，现在我正在比较它与一些标准方法，如bcp，批量插入，插入...SELECT * FROM OPENROWSET(BULK...)我的程序从源文件中读入行，解析它们，然后使用普通的插入逐个导入它们现在我遇到了这样的情况，我的程序需要160秒，而标准方法需要5-10秒。所以问题是为什么批量操作更快？他们用的是特殊的手

浏览 2提问于2017-05-18得票数 9

回答已采纳

2回答

BCP在插入时是否保持顺序

sql-server、bcp

如果我对BCP执行queryout，那么当我使用bcp插入到一个新表时，顺序是否保持不变？

浏览 0提问于2012-06-01得票数 0

1回答

使用多个进程在不同时间更新Cassandra行

cassandra、datastax-java-driver

我计划使用几个ETL来“填充”Cassandra中的同一行，也就是说，如果表被定义为： key text, column2text, column4 text, ) 很少有ETL会在不同的时间内填写第1-4列中的适当值。卡桑德拉处理这样的行动有多好？我应该先读行，然后用代码更新，然后写回去，还是用更新调用就行了？我知道Cass

浏览 1提问于2015-08-20得票数 0

回答已采纳

2回答

记录大量印象数据(5 000万条记录/月)

mysql、mongodb、hadoop、database、nosql

我们目前正在记录使用MySQL的几个网站的印象数据，并正在寻找一个更合适的替代记录流量的高流量，我们的网站现在看到。我们在MySQL数据库中最终需要的是聚合数据。所谓“大容量”，我的意思是说，我们每个月要为这个印象数据记录大约5000万个条目。需要注意的是，这个表活动几乎完全是、写，而且很少读取。(与SO：上<

浏览 3提问于2015-09-09得票数 1

回答已采纳

2回答

Mysql大容量更新性能改进(当..。案件)

mysql、sql、database-performance、query-performance

我有一个类似这样的查询，应该在每个MySQL操作之后执行。这个查询现在正在减缓页面加载，因为数据增加了，我做了所有事情，比如适当的索引，但是查询仍然相对缓慢。还有其他方法来执行这些检查吗？

浏览 3提问于2014-02-13得票数 6

回答已采纳

1回答

异步批量(批处理)插入到MySQL(或MongoDB?)通过Node.js

mysql、node.js、mongodb、asynchronous、nosql

问题:使用MySql (来自.NET和PHP后台)执行异步批量插入(如果Node.js可以处理，则不需要大容量)在C#(.NET)中，我会使用dataTable来包含每个函数中的所有行，并在最后大容量地将dataTable插入数据库表中。ALso<

浏览 1提问于2012-02-19得票数 0

回答已采纳

1回答

将mysql放入内存或使innodb_buffer_pool_size与DB的大小匹配可以提高性能吗？

mysql、performance、innodb、memory

我们有一个mysql数据库，它使用inno_db引擎拥有大约80G (GB)的数据。我们希望提高数据库的性能(我们查看了缓慢的日志，并对db和索引进行了优化)，一种方法是获得更好的硬件。目前，我们的mysql位于一台已有6年历史的服务器上，有16 GB的mem和2xXeon2.00GHz(2个核)，最大容量为32 GB。我们希望

浏览 0提问于2013-04-15得票数 1

2回答

“加载数据.替换为表”比“更新table_name集”的优势

mysql、update、csv、replace

我继承了一个系统，在这个系统中，MySQL表的所有更新(甚至是对一行/记录的更新)都不是使用UPDATE table_name SET完成的。相反，它们是通过以下方式完成的：修改CSV文件中相应的行(S)。使用LOAD DATA ... REPLACE INTO TABLE重新加载CSV文件。这是我第一次看到这样一种更新表记录的方法，我想知道这样做

浏览 0提问于2022-10-02得票数 6

回答已采纳

1回答

在ElasticSearch上批量刷新数据:批量更新/删除与使用别名从头开始索引

elasticsearch

我有一个数据来源，它提供了文档的最新快照(而不是差异)。我希望同样的快照反映在搜索的elasticsearch上。我有以下选择来做同样的事情：从弹性(使用滚动)获取所有内容，并计算内存中的diff和批量更新(带索引操作的大容量API )--这将要求程序占用两倍的内存来计算diff。批量更新(带索引操作的大容量API )从快

浏览 3提问于2017-04-03得票数 1

回答已采纳

2回答

禁用MyISAM表上的主键

mysql、myisam

我想通过禁用键来加速大容量的插入。MyISAM表上运行了以下命令：执行show index from answer_2011时，除主键外，在所有键中都会看到disabled的注释是否有一种方法可以禁用或删除不涉及MySQL创建临时表的主键？

浏览 0提问于2015-06-29得票数 2

回答已采纳

1回答

优化Postgresql中带依赖项的大容量更新性能

postgresql、performance、update、dependencies

基本上，我的问题与这一个相同，但对于依赖项，因此删除/重命名表并不是一个简单的选项(我假设)。ALTER TABLE ADD COLUMN new_id int REFERENCES list(id); UPDATE myTable SET new_id=(SELECT id因此，我们正在考虑某种外部脚本来进行5000左右<e

浏览 0提问于2014-08-12得票数 2

1回答

mysql读取->进程->更新，为海量数据优化

python、mysql、optimization、distributed-computing

我有个简单的任务。从mysql ->读取数据，执行一些操作(不太重) ->，然后将返回结果更新到mysql中。数据库中有20个不同的表(每个表大约有600000行)。我已经用ThreadPoolExecutor(max_workers=20)编写了一个python脚本来优化整个执行时间，但是它需要大约40个小时。我想为下一轮优化它。我试着运行多个代码实例，但是性能并不显著。有什么更好的方

浏览 0提问于2018-02-24得票数 0

2回答

在Google Cloud Bigtable中填充数据需要很长时间

google-cloud-dataflow、google-cloud-bigtable

我使用以下代码将数据填充到Bigtable中： } }else{ }我们有30个Bigtable节点，我的数据流作业是与100个工作人员一起工作，整个过程必须处理大约100亿行数据，使用上面的配置，我的作

浏览 19提问于2016-08-26得票数 2

1回答

弹性嵌套客户端:更新数据

c#、elasticsearch、nest

我需要更新现有的数据。有比检索旧数据更好的方法吗，->，修改旧数据，->，删除旧索引，->，创建新索引，->大容量插入新数据，这似乎有点愚蠢。此外，我最终得到了大约。store.size为index的2倍。我搞不懂为什么会这样。有什么想法吗？更新这是我的

浏览 1提问于2020-04-07得票数 1

点击加载更多