sparksql如何批量插入数据到mysql？

文章/答案/技术大牛

发布

1回答

mysql、apache-spark、apache-spark-sql

最近我需要使用sparksql在mysql中插入大约100,000,000个数据，但是速度相当慢，大约需要1个小时。有人能找到一种有效的插入方法吗？mysql配置=>prop.setProperty("password", "password") prop.setProperty(

浏览 28提问于2018-08-01得票数 4

1回答

ActiveRecord:：StatementInvalid: Mysql2:：Error:关闭MySQL连接

mysql、ruby-on-rails、delayed-job

我试图在MySQL中批量插入500万条记录，但得到了ActiveRecord::StatementInvalid: Mysql2::Error: closed MySQL connection错误。我正在使用延迟的作业来批量插入500万条记录到数据库中。出于测试目的，我点击了5个HTTP请求，每个请求都包含将100万条记录批量插入数据库的请求，因此总共有500万条记录将被插入<em

浏览 1提问于2015-12-07得票数 0

2回答

MySQL查询，批量插入

mysql、bulkinsert、load-data-infile

我有一个批量数据要插入到MYSQL表中，假设一次有10k，我所做的是将数据存储在一个XML文件中，然后进行插入(数据大约是50K行)，这将需要很多时间，有没有在MySQL表中批量插入的选项。

浏览 2提问于2009-03-23得票数 0

1回答

BEFORE INSERT trigger在多次插入时忽略某些行

mysql、sql、triggers、mysql-5.7

给定表col int我需要检查插入的值，如果值满足条件，则忽略这些行。ignore that row and do not insert END; $$insert into testtab(55),触发器忽略所有行，但我只需要忽略"55"，并插入"4“。那么，在使用多行/

浏览 2提问于2017-03-16得票数 0

1回答

MySQL和HBase中的大容量插入/装载

mysql、hbase、bulkinsert、bulk-load

我有一个包含两个进程的系统，其中一个进程执行单个插入，另一个执行批量插入。显然，第二个过程更快，我正在努力将第一个过程迁移到批量插入机制，但是今天早上我被一个同事的问题难住了，这个问题是“为什么批量插入比单个插入更快”。那么，为什么批量插入比单个插入更快呢？另外，考虑到MySQL和HBase的数据库架构完全不同，它们的批量<e

浏览 2提问于2013-02-07得票数 1

回答已采纳

1回答

将非ascii varchar从mysql批量插入到redis中

mysql、redis

要从mysql批量插入到redis中，请参阅。我如何才能将其存档。我不知道这个问题是发生在mysql还是redis上。

浏览 0提问于2015-06-05得票数 0

1回答

如何使用C#大容量插入到MySQL中

c#、mysql、bulkinsert

我以前使用过SQLBulkCopy类将数据加载到MS SQL Server数据库中。结果非常好，并且完全按照我的预期工作。现在，我正在尝试使用SSIS中的脚本任务，通过ODBC或ADO.NET连接将数据批量加载到MySQL (5.5.8)数据库中(推荐？)。我的数据集中的列与MySQL表中的列相对应。将数据集批量插入到MySQL数据库的最佳方法

浏览 2提问于2011-02-03得票数 7

1回答

使用节点JavaScript将批量数据插入MySQL

mysql、node.js、node-mysql

我正在尝试从SQL server获取数据并插入到MySQL中。我已经拿到了1lac的记录。记录的获取是正确的，但是在将记录插入到MySQL中的过程中，它不会立即插入数据。我需要刷新MySQL才能看到新记录。var sql = require('mssql');

浏览 1提问于2015-12-01得票数 0

1回答

laravel迁移模式构建器:延迟约束检查

sql、laravel-4、database-migration、schemabinding

我必须将批量数据插入到表中，并将外键约束检查推迟到事务提交。在postgresql中，NOT DEFERRABLE 约束类型(mysql innoDB 可延迟约束)，我如何在迁移中更改这个默认值？

浏览 3提问于2014-02-08得票数 0

3回答

批量插入是否比多个单一插入占用的系统资源少？

mysql、bulkinsert

我在一台服务器上有大约50个脚本，每秒插入3到6组数据。我发现MySQL反过来会独占所有系统资源，有时还会导致服务器崩溃。我在想，如果我收集5分钟的查询，并对每个脚本执行一次批量插入，这会有帮助，但它会有小幅度还是大幅度的帮助？有没有人有切换到批量插入的经验？我的表是MyISAM的(如果有必要并且不会丢失数据，我可以更改它们)。MySQL版本: 5.1.56 谢谢

浏览 9提问于2011-08-22得票数 1

回答已采纳

1回答

mysql存储过程大容量插入

c#、mysql、bulkinsert、bulk

command.BulkItems.Add(bulkItem); command.Execute();} 我的观点是，该命令将一次发送所有数据

浏览 1提问于2016-01-17得票数 0

1回答

如何使用python提高sql数据库的写入速度

python、python-3.x、pandas、sqlalchemy、pyodbc

我正试图找到一种更好的方法，使用python将数据推送到sql。我已经尝试过dataframe.to_sql()方法和cursor.fast_executemany()，但是它们似乎并没有提高我现在正在使用的数据(数据在csv文件中)的速度。有人建议我可以使用--元组、和生成器--以比熊猫更快的速度加载数据。通常csv文件的大小至少为1GB，推送一个文件大约需要10-17分钟。

浏览 2提问于2019-04-25得票数 1

1回答

Hibernate多行插入postgresql

java、hibernate、postgresql、insert、multirow

现在我有了使用hibernate的批处理插入("hibernate.jdbc.batch_size =50“)，但据我所知，hibernate在批处理中生成单个插入。但在db日志中，仍然存在单个插入。我做错了什么？谢谢。

浏览 1提问于2015-08-20得票数 2

1回答

在Informix数据库中批量插入Hibernate (获取sql日志跟踪)

hibernate、informix

我正在尝试在informix数据库中使用hibernate批量插入和更新。但是我不能发现插入是否真的是批处理的。是否有需要设置的属性来获取sql语句的日志。例如:在mysql中，我们使用的是profileSQL=true，我试着在连接的URL中设置SQLIDEBUG=filePath，但是文件不可读。有没有其他方法可以获取sql日志，以便我可以验证插入和更新是否成批处理。另外，哪个informix驱动程序版本会正确地批量插入和更新。在MySq

浏览 0提问于2017-10-05得票数 1

2回答

批量插入实体-框架核心中的MySQL

mysql、entity-framework-core、bulkinsert

我有一个由大约10,000个对象(比如Person类)组成的列表，需要插入到MySQL表中。如果我使用常规的DbContext.SaveChanges()，需要60到70秒才能发出，这是我需要大幅度减少的。我已经为批量插入找到了几个扩展：不幸的是，MySQL数据库似乎不存在有人知道<e

浏览 2提问于2017-05-26得票数 13

1回答

将MySQL表的内容替换为远程服务器上csv文件的内容

mysql、sql、wordpress、csv

我是这里的新手，想把一些数据导入到我的wordpress数据库(MySQL)中，我想知道你们中的任何一个SQL专家能不能帮上忙？数据库类型: MySQL我希望将表wp_loans中的数据完全替换为位于远程服务器上的文件xyz.csv的内容，例如https://www.mystagingserver.com表中的所有现有数据都应替换为CSV文件的内容。如果可能的话，我还想让脚本在每

浏览 2提问于2013-10-14得票数 2

1回答

使用Java进行批量插入的最佳方法是什么？

java、spring、hibernate、insert、bulk

我正在尝试开发一个应用程序，它可以在数据库中保存很多结构化对象。现在，我正在使用Spring (使用hibernate + MySQL (MyIsam表+外键))编写代码，使用Spring数据存储库为数据服务编写代码很容易，但性能太慢。例如，我试图在一个表中插入100条记录，耗时8，5秒。我尝试在MySQL cmd中直接执行相同的插入操作(在一个过程中使用硬编码的“插入字符串”)，它显示了时间- 0,85秒。即使这样的结果对我来说也太慢了，但这是<e

浏览 7提问于2013-07-21得票数 1

1回答

在存储过程中执行循环以在SQL查询中插入数据。

c#、asp.net、sql-server、stored-procedures、gridview

如何在存储过程中执行循环以在SQL查询中插入数据？因此，按照插入10行数据的逻辑，我想使用循环。截图显示有几列：现在，我将如何通过存储过程在tmptable中插入这个多个数据</em

浏览 4提问于2017-08-09得票数 0

2回答

在远程计算机上批量插入scalikejdbc是缓慢的。

mysql、scala、jdbc、hikaricp、scalikejdbc

我正在尝试插入一个100的表(我听说它是mySQL使用的最佳大小)，我在SBT0.13.6中使用Scala2.10.4，而我使用的jdbc框架是scalikejdbc和Hikaricp，我的连接设置如下所示： val ds = new HikariDataSource() ds Conn

浏览 5提问于2014-10-29得票数 1

回答已采纳

1回答

高效地解析和持久化大型数据转储

java、mysql

什么是最快的java库，可以用来解析大型.sql转储文件(其中只包含insert命令)并执行所有这些命令？也许是某种多线程库？

浏览 0提问于2014-11-24得票数 3

回答已采纳

点击加载更多