mysql将数据加载到多个表和循环中

文章/答案/技术大牛

发布

1回答

mysql、csv

我有一个50列的csv文件，我需要将csv数据插入到2个表中。col1 col2 col3----col10col11 col12 col13----col20(first row) col21 col22 col23----col30(second

浏览 3提问于2019-03-19得票数 0

2回答

并行上传数据到mysql数据库

mysql、database、upload

我有一个mysql数据库和一个74 GB的表。我目前正在使用mysql命令将这些数据加载到mysql数据库中。它花了10多个小时还在运行。有没有办法将数据并行加载到mysql数据库中？一种方法是将表数据实际拆分成多个文件，然后对每个文件调用

浏览 0提问于2010-06-05得票数 0

回答已采纳

1回答

使用多个连接的单个事务。(MYSQL/JDBC)

java、mysql、jdbc、transactions、infobright

我正在开发的应用程序是一个基于Java的ETL进程，它将数据加载到多个表中。DBMS是Infobright (一种面向数据仓库的基于MYSQL的DBMS )。数据加载应该以原子方式完成；但是，出于性能原因，我希望同时将数据加载到多个表中(使用LOAD DATA INFILE命令)。这意味着我需要打开多个连接。有什么解决方案可以让我以原子方式和并行

浏览 5提问于2011-11-29得票数 7

1回答

是否可以将mysql rds数据库中选择列的多个表中的数据添加到具有另一个mysql rds表的单个表中

amazon-web-services、aws-glue

是否可以使用AWS Glue将mysql rds数据库多个选择性列的表中的数据添加到具有另一个mysql rds实例的单个表中。谢谢

浏览 1提问于2020-01-06得票数 1

1回答

使用sqoop一次将多个表加载到hdfs中

mysql、hdfs、sqoop

我希望将mysql中的多个表的数据加载到hdfs中，这些表的名称类似于a__0、a__1、a__2。我能用UNION吗？

浏览 2提问于2016-07-07得票数 0

回答已采纳

2回答

我可以从mysqldump备份恢复"mysql“系统数据库以及另一个数据库吗？

mysql、database-backup

基本上，我做的是：还是我需要采取特别的预防措施？我在运行5.1.73-社区。

浏览 0提问于2014-10-31得票数 0

1回答

Woocommerce插件-更新股票

php、mysql、wordpress、csv、woocommerce

我创建了wordpress插件，从csv自定义文件中添加新产品和类别。您知道有什么更好的方法(比‘$wpdb->查询’和php循环更好)来更新这个股票吗？

浏览 1提问于2016-08-16得票数 0

回答已采纳

5回答

如何将RedShift上的表卸载到单个CSV文件？

mysql、amazon-web-services、amazon-redshift

我想将一个表从RedShift迁移到MySQL，但是使用“卸载”会生成多个数据文件，这些文件很难直接导入到MySQL中。是否有任何方法将表卸载到单个CSV文件，以便我可以直接将它导入MySQL？

浏览 4提问于2013-12-02得票数 23

回答已采纳

2回答

在PySpark SQL中并行执行读写API调用

apache-spark、pyspark、apache-spark-sql、python-multiprocessing、amazon-emr

我需要以Parquet格式将增量记录从MySQL中的一组表加载到Amazon格式。这些表在AWS MySQL托管实例中的几个数据库/模式中很常见。代码应该并行地从每个模式(其中有一组公共表)复制数据。我使用read SQL连接到MySQL实例并读取模式的每个表的数据，并使用写API作为Parquet文件将结果数据写入S3。我在一个循<

浏览 4提问于2020-08-15得票数 0

回答已采纳

1回答

用于从列表和更新表中选择项目的查询

sql、csv

我有一个查询，我运行了一个库存项目表，将字段从false更改为true，这样就可以按照下面的方式打印出标签。 UPDATE [StockDB].[dbo].

浏览 1提问于2014-07-09得票数 0

4回答

将多个csv数据导入到一个主表中

php、sql、csv、import

我有一个MySQL数据库，我想从多个csv文件导入数据。对于数据，我提供了一个表，我希望在该表上将多个文件合并为一个文件(join)。不幸的是，我有一个问题，那就是我的数据太大了，因此在我将所有数据都存储到表中之前，这是相当耗时的。因此，问题是:处理海量数据的最佳方法是什么？我为每个csv文件创建了一个临时表，并将数据加<em

浏览 4提问于2019-09-16得票数 1

1回答

我在Redshift中有一个存储过程，它在循环中从一堆S3 JSON文件中加载数据。每次加载一个文件时，它的名称都存储在Redshift端的一个日志表中，这样我就可以将它链接到我的暂存表中的记录，我也使用它来避免两次加载同一个文件。加载过程中的任何错误也会被记录下来。任何谷歌点都只能指向PostgreSQL提到可能的数据库损坏。我知道红移是基于PostgreSQL的，但是，我如何才能为红移专门检查它，我的数据库或表(S)没有损坏？

浏览 0提问于2023-03-17得票数 0

2回答

优化数据库访问的Python代码

python、mysql、optimization

我正在构建一个具有对象的应用程序，这些对象的数据存储在mysql表中(跨多个表)。当我需要处理对象(检索对象属性/更改属性)时，我使用mysqldb (select / update)查询sql数据库。然而，由于应用程序的计算非常密集，执行时间简直要了我的命。想了解是否有将所有数据加载到python中的方法，在这些对象上进行计算/修改，然后对mysql数据库进行完整的<

浏览 0提问于2010-09-22得票数 2

2回答

MySQL :在表之间执行大数据迁移

mysql、innodb、migration

我想在两个InnoDB表之间迁移数据。目前，我正在运行以下查询：如果数据集增长，避免CPU超载的最佳方法是什么？谢谢

浏览 0提问于2012-09-10得票数 7

1回答

Redshift的COPY命令可以复制多个表吗？

mysql、postgresql、amazon-web-services、amazon-redshift、data-migration

我希望将一些MySQL数据库移到Amazon的云上。目前，我正在创建一个Python脚本，将表转换为CSV，对它们进行加密，将它们放入S3中，然后将数据复制到Redshift中。但是，按照设置的方式，我必须一次只复制一个表。我已经读过，您可以将数据分割成多个文件并并行上传，但是我相信这仍然仅用于将数据加载到一个表中。有办法一次在

浏览 0提问于2018-06-21得票数 1

1回答

MySQL和HBase优化数据存储(1 TB)

mysql、sql、csv、amazon-ec2、hbase

我有大约6亿行数据是157个CSV文件。这些数据的格式如下：B: 64bit unsigned intD: int 提

浏览 12提问于2015-03-11得票数 0

1回答

AWS DMS -迁移时连接源表

amazon-web-services、aws-dms

我目前的需求是将内部Oracle DB迁移到AWS中的Aurora MySql。我的一个问题是，在迁移过程中，是否可以连接来自源中多个表的数据。例如，是否可以使用DMS连接两个表，并将结果数据加载到目标中的单个表中。

浏览 17提问于2018-08-13得票数 0

1回答

使用sqoop仅更新mysql表中的一列

sqoop

我有一个包含5列(a、b、c、d、e)的mysql表，其中"a“是主键。我有一个csv文件，其中只包含"a“和"d”列的值。我只想根据文件中存在的"a“值更新一列"d”的值。如果我的csv文件包含所有列的数据，那么我可以将数据从csv文件导出到表中，并使用"-- update -key“作为"a”更新所有行。可以只更新一列的数据吗？

浏览 2提问于2018-10-10得票数 0

1回答

我们能否将多个记录作为一个java请求加载到mysql-DB的多个表中？

java、mysql、eclipse

我必须使用java将多个表中的多个记录作为单个请求加载到mysql-DB中。(但不是执行多个insert查询，因为我有将近1L-10L的数据，所以我不能运行那么多insert查询和那么多请求)。

浏览 13提问于2017-07-06得票数 0

3回答

是否可以用PHP向sql server发送XML格式？

php、sql-server、stored-procedures

你好，我正在尝试从我的网站(PHP)导入一个XML文件。我已经对它做了一些研究，我找到了这个，但这是为C#。那么，有可能寄出去吗？USE [sales_web]/****** Object: StoredProcedure [dbo].[InsertSALESPOS] Script Date: 11/30/2016 09:19:48 ******/GOGO @HeaderTemp

浏览 0提问于2016-11-30得票数 8

点击加载更多