批量写入mysql数据库表 - 腾讯云开发者社区

文章/答案/技术大牛

发布

1回答

我是否正在最大限度地使用可能的数据插入

php、mysql

mysql表没有索引，数据在批量插入中一次插入1000行(首先写入在每个帧中创建的临时内存，然后批量卸载到hd表)。这是每个表处理15亿行数据，这是由一个32核128g ram服务器运行的60帧写入的，它使服务器cpu在6-7小时内达到99-100%。我有3台服务器在处理这个任务，还有1台在raid上有24个驱动器作为数据库服务器，它只运行6- 15%的cpu负载来管理mysql (5.0.67)。删除索引确实大大加

浏览 1提问于2013-08-14得票数 0

1回答

不向磁盘写入文件的MySql大容量导入

python、mysql、django

我有一个运行mysql数据库后端的django网站。我接受相当大的上传从一个管理员用户批量导入一些数据。数据的格式与其在数据库中所需的格式略有不同，因此我需要进行一些解析。我希望能够将这些数据转换为csv，并将其写入cStringIO对象，然后简单地使用mysql的批量导入命令来加载该文件。我宁愿先跳过将文件写入磁盘的过程，但我似乎找不到解决方法。我过去基本上用postgresql做过这样的事情，但不幸的是这个项目是在mysql上进行

浏览 1提问于2011-06-30得票数 0

回答已采纳

1回答

单批查询还是映射查询效率？

mysql、node-mysql

我正在运行node将数据插入到运行MySQL的DynamoDB数据库中。, [myData], function(err, result){});哪种方法最有效？

浏览 0提问于2016-10-23得票数 1

回答已采纳

1回答

在主从设置中，哪个更适合使用本地队列或立即将更改写入远程？

mysql、replication

我有一个用于读取的本地数据库(mysql )和用于写的远程主数据库，但我想知道这样做是否更好。使用1 i 想，我有更多的控制，但是有延迟，它使用每个传出表一个连接/线程但2可以是任何cpu/内存的使用，没有控制，但变化是实时更新。我目前使用#1，但现在，由于我的项目使用更多表，我批量插入10+连接，并且我计划进行水平可伸缩性和10+连接，因此每

浏览 0提问于2016-06-09得票数 2

2回答

MySQL从一个表缓慢复制到另一个表

mysql、sql、database、performance、copy

我使用以下语句将文件从一个数据库复制到另一个数据库：一切都很好，但真的很慢。我正在使用一个MyISAM表来完成这个任务。我的主键是一个唯一的标识符，它是由不同的数据字段生成的。

浏览 0提问于2013-08-27得票数 0

回答已采纳

1回答

mysqldump批处理脚本，用于输出单个表以进行选择性恢复

mysql、batch-file、mysqldump

我们目前有一个DOS批处理脚本，它在单个文件中对整个数据库执行MySQL转储。我想要做的是按表拆分数据库，这样在每个'date‘文件夹中，就会有一个'db’文件夹包含各个表转储。这允许我们恢复选定的表，而不是恢复整个数据库。@echo offcd C:\Program Files\MySQL\MySQL Workbe

浏览 1提问于2012-02-20得票数 1

回答已采纳

2回答

我可以备份mysql索引吗？在一张无害的桌子上？

mysql、backup

我有几个表，它们是成百万行的10's，并且有多个索引。当转储和重新加载数据时，需要很长时间才能重新插入索引，或者在没有索引的情况下插入，然后再重新索引。据我所知，索引为数据库引擎提供了一种在磁盘上查找记录的快速方法，而且由于数据库转储和重新加载将或可能有效地更改磁盘上数据的位置，该索引可能会失效。但是，您仍然应该能够通过连续和顺序地在磁盘上定位它的所有记录来优化一个表，然后让索引引用一个开始位置加上偏移量。有没有人在这方面做过任何工作？所需的功能:我可以转储原始数据，将其加载到顺序不间断的磁盘区域，然后只加载索引

浏览 0提问于2011-04-11得票数 1

回答已采纳

2回答

在mysql上处理更多的2000+请求？

mysql、load-balancing

是否有任何工具或适当的方法来处理每秒超过2000次对mysql数据库的请求(主要是写入请求)？而不会到达队列限制。

浏览 1提问于2017-09-17得票数 0

1回答

如何使用C#大容量插入到MySQL中

c#、mysql、bulkinsert

我以前使用过SQLBulkCopy类将数据加载到MS SQL Server数据库中。结果非常好，并且完全按照我的预期工作。现在，我正在尝试使用SSIS中的脚本任务，通过ODBC或ADO.NET连接将数据批量加载到MySQL (5.5.8)数据库中(推荐？)。我的数据集中的列与MySQL表中的列相对应。将数据集批量插入到MySQL数据库的最佳方法是什么？

浏览 2提问于2011-02-03得票数 7

2回答

是否可以在PHP中将大型csv文件编写为xls工作表？

php、mysql、excel、csv、laravel

因此，我需要向用户提供一个多工作表excel文档，其中每个工作表有数千行和10列。数据来自多个MySQL查询。因此，我有一个想法，使用MySQL OUTFILE在磁盘上编写一组csv文件，每个工作表一个，然后创建一个xls文档，并将以前编写的csv数据作为表写入xls。是否有一种方法可以完成将csv内容“批量”写入工作表，而不通过csv逐行迭代或消耗大量内存(比如直接写入磁盘？) 谢谢你的帮助！

浏览 2提问于2014-08-22得票数 1

回答已采纳

1回答

mysql存储过程大容量插入

c#、mysql、bulkinsert、bulk

我有一个如下所示的存储过程：有没有办法让我执行大量的代码？像这样，而不是执行这样的东西：{ foreach (Item item in GetItems()) using (MySqlCommand command = new MySqlCommand(&#

浏览 1提问于2016-01-17得票数 0

2回答

Spring data jpa在异常时继续批量插入

hibernate、spring-data-jpa、spring-data

在我的spring boot应用程序中，我正在尝试进行批量插入，以提高写入性能。问题是我经常得到重复的数据，对于这些重复数据，我的表有几个唯一的约束。我使用repository.saveAll()进行插入，我的数据库是Mysql

浏览 88提问于2021-06-24得票数 0

1回答

用实体框架向数组写入MySQL记录

c#、mysql、linq、excel、entity-framework

我正在使用来自MySQL的数据来写入Excel工作表。基本数组是批量写入工作表的最快方法。所以我的问题是，最快的方法是填充数组吗？使用LINQ？我在MySQL中的表是由复合键组成的，因此我将根据几个标准选择记录。

浏览 3提问于2013-10-31得票数 0

回答已采纳

1回答

如何在WSO2中使用事务

sql、transactions、wso2、wso2esb、wso2-am

synapse" name="myFaultHandler"> </sequence> 如果在第一个表中插入成功，而在第二个表中插入不成功，则应该发生时间回滚，但回滚不起作用，数据插入发生在第一个表中。

浏览 1提问于2014-09-08得票数 2

2回答

如何将编码后的字符串经过java处理后写入数据库？

java、mysql、database、encoding、character-encoding

String s="\u0070\u0075\u0062"; }它给出"pub“作为输出我不想在写入数据库时将"\n“的unicode转换为实际的换行符

浏览 1提问于2015-10-27得票数 1

6回答

在每个页面视图上插入数据库行

php、mysql

我正在开发一个系统，它需要在MySQL表中保存页面的每个视图的日志。只有当访问者在过去24小时内没有访问过该页面时，该视图才会被记录下来。我想知道这样做在性能和数据库大小方面是否会有很大问题。该表只有3列：i_id、ip_address、timestamp。i_id是另一个表的外键。这样做会立即给数据库带来压力吗？

浏览 0提问于2011-08-29得票数 4

回答已采纳

2回答

将数据从两个(或更多)文件加载到一个表中

sql、mysql

我有一张桌子： id INT NOT NULL PRIMARY KEY, y INT NOT NULL );您能否建议如何将这两个文件中的id、x和y值加载到t中

浏览 1提问于2010-12-02得票数 0

1回答

在多个表中插入/更新批量数据mysql php

php、mysql

我想批量处理多个表上的插入/更新操作。对于每个活动，我有几个用于插入/更新操作的表。如果多个活动并行进行，这有时会导致数据库服务器的平均负载较高。所以我愿意在这些表上批量处理插入/更新，比如INSERT.......如何在php/mysql中实现这一点。提前谢谢。

浏览 6提问于2015-06-24得票数 0

1回答

Rolify一次分配多个用户角色

ruby-on-rails、rolify

对于Rails中的Rolify，为了向用户添加一个角色，您可以这样做：user.add_role :admin 但我有一个现有用户的大型数据库，没有角色。

浏览 4提问于2017-07-14得票数 0

回答已采纳

1回答

将excel工作簿导入Mysql数据库

mysql、excel

有没有办法把一个有多张工作表的excel工作簿导入到mysql数据库的多张表中？我有一个带有3张工作表的excel工作簿，名为sheet1，sheet2 sheet3。每个工作表的页眉都在第一行。现在我需要这3张表作为3张表(sheet，sheet2，sheet3)存储在数据库中。我知道，我们可以单独导入csv表。我想知道批量导入是否有效？

浏览 1提问于2013-06-23得票数 0

回答已采纳

点击加载更多